hadoop - Hadoop 中 Namenode 的内存

Question

环境：生产集群有 2 个名称节点（即活动和备用），节点是 Raid-1 配置中的 SAS 驱动器。这些节点除了运行在每个节点上的主服务（NN 和备用 NN）外，什么都没有。它们有 256GB 的 RAM，而数据节点（大部分处理发生的地方）设置为只有 128GB。

我的问题：为什么 Hadoop 的主节点具有如此高的 Ram，而当大部分处理都在数据可用的地方完成时，为什么 Datanodes 没有。？

PS 根据 hadoop 拇指规则，我们每 100 万个文件只需要 1GB。

标签： hadoopmemoryhdfsnamenode

Answer 1

Namenode 将来自所有数据节点的所有文件引用存储在内存中。

datanode 进程不需要太多内存，它是 YARN NodeManagers 做的