时间戳

首页 > 解决方案 > 有没有办法使用jobtracker或spark application master确认我提交的spark作业是yarn-client还是yarn-cluster？

apache-spark - 有没有办法使用jobtracker或spark application master确认我提交的spark作业是yarn-client还是yarn-cluster？

问题描述

我正在尝试验证带有 spark-submit 选项的 spark 作业命令是否实际上在 yarn-client 或 yarn-cluster 模式下运行。

我在命令本身中指定了 master-delopy 模式，但想在之后验证作业状态。

这更多是从 QA 的角度来看的。

我想知道是否可以从 jobtracker 或 spark application master 看到特定作业的部署模式。

标签： apache-sparkqa

解决方案

要从命令行查看，请添加标志参数 --verbose 以触发提交命令，您可以在作业开始时看到它。

./bin/spark-submit \
  --verbose \
  --class com.test.spark.Driver \
  --master yarn \
  --deploy-mode cluster \
  test.jar

当作业开始时，您可以看到默认值以及传递给 spark-submit 的用户参数。

推荐阅读