hadoop - 断电重启hadoop HA集群节点后name节点失效
问题描述
我已经设置了具有 2 个名称节点和具有自动故障转移控制的日志节点的 HA hadoop 集群。在namenode格式之后启动时它会开始罚款。但是在重新启动集群时它会失败。我还尝试按顺序升级集群。
- 启动所有日志节点
- 启动活动名称节点
- 启动备用节点(使用引导程序)并启动名称节点
- 在所有节点上启动 zkserver
- 启动所有数据节点。
- 在活动节点上格式化zkfc,然后启动
- 在备用节点上格式化zkfc,然后启动。
它工作正常,直到第 5 阶段并且所有节点都已启动(名称节点都已启动并处于待机状态)。当我启动 zkfc 时,名称节点失败并出现错误日志节点未格式化。
(在此步骤之前,我通过格式化活动名称节点成功启动了设置,在第二次启动时,我在步骤 2 中删除了名称节点格式):
关机和重启后如何开始设置?
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoop/data/nameNode</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoop/data/dataNode</value>
<final>true</final>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>ha_cluster</value>
</property>
<property>
<name>dfs.ha.namenodes.ha_cluster</name>
<value>sajan,sajan2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ha_cluster.sajan</name>
<value>192.168.5.249:9000</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ha_cluster.sajan2</name>
<value>192.168.5.248:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ha_cluster.sajan</name>
<value>192.168.5.249:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.ha_cluster.sajan2</name>
<value>192.168.5.248:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://192.168.5.249:8485;192.168.5.248:8485;192.168.5.250:8485/ha_cluster</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.ha_cluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>192.168.5.249:2181,192.168.5.248:2181,192.168.5.250:2181,192.168.5.251:2181,192.168.5.252:2181,192.168.5.253:2181</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
</configuration>
解决方案
如果您想停止服务,请使用以下命令。我花了 2 个工作日来解决这个问题。
- 停止所有名称节点。
- 停止所有日志节点。
- 停止所有数据节点。
- 停止故障转移服务。
- 停止 zkserver
推荐阅读
- c++ - 在 C 和 C++ 中通过指针访问结构
- c++ - 在“if”语句中初始化变量
- rendering - 为什么Polyhedron单独渲染效果好,结合完整模型不行
- php - '; PHP 中的 define() 函数中的预期错误,即使我已经有了它
- robotframework - SeleniumLibrary 单击按钮/链接不起作用
- apache-nifi - 如何在漏斗之前优先处理一个队列
- python - 如何使用 python 脚本在 shell/linux 中运行 sudo 命令
- php - 如何从数组中查询属于过滤器的帖子,例如:属于过滤器 3 和 5 的帖子
- featuretools - 如何使用 Featuretools 包定义带有参数的自定义原语?
- matplotlib - Matplotlib animation.save 仅在从 __main__ 调用时有效