apache-spark - 是否有用于说明哪些作业已排队或正在运行的 spark 的 shell 命令？

Question

环境：Spark 1.6.2；Linux 2.6.x（红帽 4.4.x）；Hadoop 2.4.x。

我今天早上启动了一项工作，spark-submit但没有看到它应该写入的文件。我已经阅读了一些有关监视 Spark 作业的 Web UI 的内容，但是在这一点上，我对 Hadoop 集群和 HDFS 上发生的事情的唯一可见性是通过 bash-shell 终端。

问题：从命令行快速读取 spark 作业的标准方法是什么，以及它们可能留下的任何日志跟踪（在作业执行期间或之后）？

谢谢。

标签： apache-sparkhadoop

Answer 1

您可以使用yarn application -list