hadoop - 如何计算hadoop中使用的dfs?
问题描述
我有一个简单的问题。我的 hadoop UI 中使用的 dfs 大约是 3TB,但我的 hdfs 中有 1.4TB 数据。由于复制 3,使用的 dfs 是数据使用量*3?谢谢
解决方案
Namenode UI 上的 DFS 使用 = 所有数据节点上集群上使用的总空间。
如果复制因子为 2,则为“一个数据节点上的数据 * 2”
您可以使用以下命令检查集群上 DFS 的整体和个人使用情况 -
hdfs dfsadmin -report
推荐阅读
- python - SequenceMatcher - 更喜欢有序匹配
- sql-server - SSMS 17.9 在 SQL Server 2014 而不是 2016 上打开数据库
- excel - 根据条件计算行数和导出
- yii2 - (Yii2) 如何将值从表传递到 HTML 按钮
- docker - 通过命令行(即非 UI)为 Docker 映像安装 Delphi
- apache-spark - Spark数据框中的ArrayType(StringType)到IntegerType转换
- javascript - 如何在 Angular 2 应用程序中制作 DateAdapter 单例?
- mqtt - Mosquitto - EMQX 桥接连接名称
- charts - Power BI 堆积柱形图 - X 轴标签垂直或 45 度
- angular - 如果发生错误,Angular httpClient 获取标头