scala - Spark Driver 死了，但没有杀死应用程序

我有一个流式传输作业，由于网络调用超时而失败。虽然应用程序会持续一段时间，但如果同时我杀死驱动程序，应用程序不会死。而且我必须通过 UI 手动终止应用程序。

我的问题是：发生这种情况是因为网络连接在不同的线程上形成并且不会让应用程序死掉吗？

标签： scalaapache-spark

不要“杀死”你的 spark 工作的随机部分；由于高可用性（火花的主要功能之一），他们重试。如果你想杀死你的工作，你可以使用纱线。

yarn application -kill <APP_ID>

您可以通过以下方式获取所有正在运行的应用程序的列表

yarn application -list

最后，您可以使用以下命令查看作业日志

yarn application -logs <APP_ID>