hadoop - 删除 HDFS 块池
问题描述
我在 Hadoop 集群上运行 Spark。我尝试运行 Spark 作业并注意到我遇到了一些问题，最终通过查看数据节点的日志意识到其中一个数据节点的文件系统已满
我看了看hdfs dfsadmin -report以确定这一点。剩余的 DFS 类别为 0B，因为使用的非 DFS 是海量的（155GB 的 193GB 配置容量）。
当我查看此数据节点上的文件系统时，我可以看到其中大部分来自 /usr/local/hadoop_work/ 目录。那里有三个块池，其中一个非常大（98GB）。当我查看集群中的另一个数据节点时，它只有一个块池。
我想知道的是我可以简单地删除其中两个块池吗？我假设（但对此知之甚少）namenode（我只有一个）将查看最新的块池，该块池的大小较小，并且对应于另一个数据节点上的块池。
解决方案
如上面评论中所述，最终我只是删除了两个块池。我这样做是基于这些块池 ID 在其他数据节点中不存在的事实，并且通过查看本地文件系统，我可以看到这些 ID 下的文件有一段时间没有更新。