hadoop - 如何从 hadoop ResourceManager 获取内存使用指标

Question

我有一个在谷歌云中运行的 dataproc 集群，有 3 个主节点和 40 个工作节点。我使用 hadoop ResourceManager 来监控应用程序和其他指标，如队列使用情况、内存使用情况、应用程序运行等。我无法获取命令来获取集群的内存使用情况，因为我使用下面的命令来获取 dfs 使用情况和其他指标。

hdfs 管理员报告

请让我知道从资源管理器获取 linux 服务器上的内存使用情况的命令，如下图所示

我还浏览了以下链接以获取更多详细信息，但这并没有帮助我获得想要的东西

https://hadoop.apache.org/docs/current/

标签： hadoophdfsgoogle-cloud-dataprocresourcemanagernamenode

Answer 1

我相信这些信息是通过 JMX 在 /jmx url 路径以及Metrics API公开的

如果您想要远程 JMX 访问，您可以通过 yarn-env.sh 文件启用它

export YARN_RESOURCEMANAGER_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=8001"

然后将 jconsole 指向资源管理器的 8001 端口，然后四处搜索你想要的值