时间戳

首页 > 解决方案 > 如何获取 Hadoop 集群中的主机数量、它们的 IP 和机架

hadoop - 如何获取 Hadoop 集群中的主机数量、它们的 IP 和机架

问题描述

我正在开发一个集群，但我不知道它到底有多少主机，它们的 IP 是什么以及它们属于哪个机架。我以前使用过通过 Cloudera 管理的集群，并从 cloudera api ( http://cloudera.github.io/cm_api/apidocs/v16/ ) 获得了这些信息，特别是这个 ( http://cm_server_host:7180/api /v16/hosts）给了我我正在寻找的所有信息。但是，如果集群不使用 Cloudera，我该怎么做呢？它也有火花，但由于有 Hadoop 和 HDFS，我认为信息更有可能在那里找到。

提前致谢！

标签： hadoophdfscluster-computinghostssysadmin

解决方案

您可以通过 http api 找到这些信息，默认情况下应该在此 url 下可用：

http://<namenodehost>:50070

并通过 YARN http api，默认情况下应在此 url 下可用：

http://<resourcemanagerhost>:8088/cluster/nodes

或者，您可以使用 ResourceManager REST API。

http://<resourcemanagerhost>:8088/ws/v1/cluster/nodes

您可以在此处找到有关该主题的更多信息：

https://www.datadoghq.com/blog/collecting-hadoop-metrics/

推荐阅读