apache-spark - 停止在 Kubernetes 集群上运行的火花作业的最优雅/正确的方法是什么？

Question

我是 apache spark 的新手，我正在尝试在我的 Kubernetes 集群上使用 spark-submit 运行 spark 作业。我想知道一旦产生了驱动程序和执行程序吊舱，是否有正确的方法来停止火花作业？删除 pod 本身就足够了吗？

谢谢！

标签： apache-sparkkubernetes

Answer 1

目前，停止在 Kuberentes 上运行的 Spark 作业的唯一方法是删除 Driver Pod（除非您有一个控制 Spark 上下文的应用程序能够对其进行操作）。由于所有其他与作业相关的资源都通过诸如 called ownerReferences 链接到 Spark Driver Pod，因此它们将被 Kubernetes 自动删除。