hadoop - 我们是否必须为 HDFS 文件系统格式化 datanode 或者我们只需要格式化 namenode
问题描述
在设置伪集群或全集群时,我们是否需要格式化数据节点来安装 HDFS 文件系统,或者我们只需要格式化 namenode。
我问这个是因为,我在很多博客上都读到过,HDFS 将数据按顺序存储在硬盘上,它是一个抽象层,将数据存储在大块上,而不是提供主机文件系统的默认块大小存储。
如果我们不格式化数据节点,那么 HDFS 的强大功能就会被折腾。
解决方案
格式化和安装硬盘驱动器与格式化 HDFS 没有直接关系。从概念上讲,“格式化”的概念是相同的。但这两个任务完全分开,没有直接关系。
hadoop format 命令不会格式化或挂载硬盘。硬盘驱动器应该已经格式化和安装。当您为 HDFS 运行 format 命令时,它正在准备 NameNode fsimage 文件,以便它知道所有存储块在数据磁盘上的位置。
推荐阅读
- r - Can I automatically add functions called using pkg::fct to the importFrom section in roxygen2?
- python - 如何转换 df dtype:bool 到 df
- python - 如何将非连续数字转换为连续数字?
- css - Firefox 剪辑路径 + 框阴影错误
- javascript - 如何在 Electron 上使用 Hotjar?
- javascript - 使用 JS 或 JQ 通过后端生成的排序列表
- php - 在 WordPress /Woocommerce 中将输入数字字段值输入到 PHP 中
- python - Python 模块不会导入
- node.js - 在反应应用程序上反应 Toastr
- python-3.x - 应该使用来自 NTP 时间服务器的什么时间来设置我的时钟?