apache-spark - Spark 的哪一部分将失败的任务返回到不同的节点？

Question

当某个节点上运行的任务失败时，Spark 会自动将该任务返回到不同的节点。我的问题是：

• Spark 的哪个部分对此负责？是ApplicationMaster、驱动程序还是ResourceManager？
• 恢复失败任务的过程是什么？

标签： apache-spark

Answer 1

当事情发生后火花任务失败时

1. 该机器上的节点管理器尝试在同一台机器上重新运行该任务，并通知 APPLICATION MASTER。
2. 基于推测执行，应用程序主机可能决定在另一台机器上运行重复任务。资源管理器不重启任务
3. 任务从头开始重新启动。由于该任务处理的所有分区都在之前发生的故障中丢失。这就是 spark RDD lineage 出现的地方。spark 采用 spark lineage 并尝试重新创建因任务失败而丢失的分区。