amazon-web-services - AWS Spark 作业监控工具

Question

我有一个带有 12 个节点、每个 8 个核心和主节点的 AWS 集群。正如我在浏览器中看到的，在 HUE->jobs 中运行了 4 个 spark 作业，3 个 Zeppelin 笔记本，一个是我从命令行运行的 python 脚本（pyspark）。脚本抱怨此消息：“WARN YarnScheduler：初始作业未接受任何资源；检查您的集群 UI 以确保工作人员已注册并有足够的资源”最后一小时。所以我的问题是：有没有办法查看哪些正在运行的作业消耗了哪些资源（内核、RAM）？我可以为此目的使用哪些工具？我在主节点上运行 linux“htop”命令，这当然显示了许多可用的内核和许多未使用的 RAM，但我需要一个工具来查看节点上的负载。我从 Zeppelin notebook 中找到了一个指向 SparkUI 的链接，它只显示了 Zeppelin 相关的工作，但不是全部（命令行作业不存在，Jupyter notebook 也不存在，等等）。HUE 显示所有正在运行的作业的列表，但无法查看每个作业创建的资源负载。有没有显示这些信息的工具？

标签： amazon-web-servicesapache-sparkpysparkmonitoring