bash - 通过unix检查作业是否完成

Question

我必须依次运行多个 spark 作业，所以我正在编写一个 shell 脚本。我可以做的一种方法是检查输出文件夹中的成功文件以了解作业状态，但我想知道是否有任何其他方法可以使用我正在运行作业的 unix 脚本检查 spark-submit 作业的状态。

标签： bashunixspark-submit

Answer 1

你可以使用命令

yarn application -status <APPLICATIOM ID>

您的应用程序 ID在哪里<APPLICATIOM ID>并检查以下行：

State : RUNNING

这将为您提供申请的状态

要检查应用程序列表，请通过 yarn 运行，您可以使用命令

yarn application --list

您还可以添加 -appTypes 以根据应用程序类型限制列表