apache-spark - Apache Spark/scala：在退出前处理 yarn kill 来执行动作（清理资源，保存状态）

Question

我在 Spark/Hadoop 网格执行程序上运行了多个不相关的作业，这些作业由驱动程序节点的单个 spark-submit 启动。当我需要停止工作时，我想在驱动程序节点程序退出之前保存他们的 ID（或者，更一般地说：做一些事情，比如保存状态和/或清理资源，没关系）。

有没有办法处理纱线终止事件来执行这样的操作，就像你通过处理 SIGTERM 信号（和朋友）来执行一些最后的机会清理来类比 POSIX 信号一样。

我还没有找到处理纱线杀死的方法。有办法吗？是否有替代纱线杀死的方法可以满足这种需求？

谢谢。问候。

标签： apache-sparkhadoop-yarnhandlerkillresource-cleanup