首页 > 解决方案 > 如何计算hadoop中使用的dfs?

问题描述

我有一个简单的问题。我的 hadoop UI 中使用的 dfs 大约是 3TB,但我的 hdfs 中有 1.4TB 数据。由于复制 3,使用的 dfs 是数据使用量*3?谢谢

标签: hadoophdfs

解决方案


Namenode UI 上的 DFS 使用 = 所有数据节点上集群上使用的总空间。

如果复制因子为 2,则为“一个数据节点上的数据 * 2”

您可以使用以下命令检查集群上 DFS 的整体和个人使用情况 -

hdfs dfsadmin -report


推荐阅读