hadoop - HDFS 或 HBase 中是否有最大存储空间配置？

Question

HDFS 或 HBase 中是否有最大存储空间配置？

我找到了

• dfs.data.dir：“ DataNode 的本地文件系统上应存储其块的路径的逗号分隔列表”和

• dfs.datanode.du.reserved：但它是为 HDFS 保留的非 DFS 空间

在hadoop 文档中

对于 HBase，我发现了一些堆大小配置和压缩间隔，即 Memstore 刷新大小，但这些似乎都不能调节单个节点的最大大小。

HBase 或 HDFS 是否有任何配置来调节它们将在单个节点中占用多少空间？

（我在一台机器上运行测试）

标签： hadoopconfigurationhdfshbase

Answer 1

一般来说，dfs.data.dir将是专门为 HDFS 数据挂载的格式化卷。因此，“最大”是 datanode 主板上物理 SATA/USB/M.2 NVME 连接器的数量乘以您能找到的最大硬盘驱动器的大小。

如果不使用专用卷/设备，最大值仍受磁盘大小的限制，但dfs.datanode.du.reserved会为操作系统留出空间自行运行。

两者都与内存使用/堆空间无关