amazon-web-services - 命令行中的 HDFS I/O 统计信息

Question

有什么方法可以获取 hadoop/hdfs 集群的 I/O 统计信息（即总读取 i/o、写入 i/o）？可能类似于iostatLinux？我知道有一种方法可以在 webUI 中查看统计信息。

http://<namenode_host>:50070/jmx

但我需要在命令行中访问统计信息。有没有办法在命令行中获取 webUI 内容？或者其他一些工具？我正在为 Hadoop 集群使用 Amazon EMR。

标签： amazon-web-serviceshadoophdfsmonitoring

Answer 1

您可以尝试使用 jmxterm 进行查询。

https://docs.cyclopsgroup.org/jmxterm

请注意，这需要在您的节点中启用 jmx。此外，对于某些 Hadoop 发行版（不确定 Amazon EMR），连接要求不使用身份验证。

您可以做的另一件事是使用 curl 轮询 URL，并解析输出。