python-3.x - 运行scala spark应用程序后如何运行python脚本

Question

我想在运行 spark scala 应用程序之后运行 python 脚本。

我试过了

30 00 * * *  spark scala job command && python script2.py

但它不运行python脚本

标签： python-3.xcronscheduling

Answer 1

无论您的 spark-submit 是否成功运行，您都不会使用“$？”得到答案。在 shell 中作为状态。要获得火花作业的状态，您需要运行

yarn application -status <application id of the spark job> 

根据您运行 if [ $condition ] 的结果希望有帮助