laravel - 作业内作业的批处理或链接

Question

我有工作 A，它下载 xml，然后调用其他工作 B，它将在数据库上创建数据。此作业 B 将被循环调用，并且可以超过 10.000 个项目。首先尝试使用链式方法，但问题是，如果有人以错误的顺序调用队列，它将不起作用。然后尝试使用新 Laravel 8 中的批处理。将所有作业（超过 10000 个）收集到一个批处理可能会导致内存不足异常。另一个问题是最后调用作业 C。此作业将更新一些凭据。这就是为什么作业 A 和 B 必须成功运行的原因。对于这种情况可能有什么好主意吗？

标签： laraveljobslaravel-8

Answer 1

Laravel 的作业批处理功能可以让你轻松执行一批作业，然后在这批作业执行完成后执行一些操作。

如果您对 Jobs Batching 有内存不足的问题，那么您做错了。如果您以这种方式配置队列，则队列将被一一执行，因此即使它们超过 100k 条记录也不应该有任何问题。因此，请确保为每个项目粘合一个 Job，并执行该操作，您不会遇到问题。

然后，你可以做这样的事情。

$chain = [
    new ProcessPodcast(Podcast::find(1)),
    new ProcessPodcast(Podcast::find(2)),
    new ProcessPodcast(Podcast::find(3)),
    new ProcessPodcast(Podcast::find(4)),
    new ProcessPodcast(Podcast::find(5)),
    ...
    // And so on for all your items.
    // This should be generated by a foreach with all his items.
];

Bus::batch($chain)->then(function (Batch $batch) {
    // All jobs completed successfully...
    // Uupdate some credentials...
})->catch(function (Batch $batch, Throwable $e) {
    // First batch job failure detected...
})->finally(function (Batch $batch) {
    // The batch has finished executing...
})->dispatch();