java - 在 Spark-cluster 上。是否有一个参数可以控制 spark 作业的最短运行时间

Question

我的 Spark 程序会先判断输入数据路径是否存在，如果不存在，安全退出。但是退出后，yarn 会重试一次作业。所以，我猜一个参数将控制作业的最短运行时间。在 Spark-cluster 上。是否有一个参数控制 spark 作业的最小运行时间，即即使任务成功但小于该时间也会触发重试。

---------第一次编辑后--------------

我把重试次数变成了1，现在不用考虑重试次数了。我的程序中main方法只有一句话System.out.println('MyProgram');。日志显示一切正常，但是yarn认为这是一个失败的工作。我很困惑。

标签： javascalaapache-sparkhadoop-yarn

Answer 1

否。如果您的作业以非零的退出状态结束，则会发生重试。