hadoop - 如何恢复 dataproc 集群中已删除的主节点？

Question

我的一个主节点在我的 dataproc 集群中被意外删除。有什么方法可以恢复该主节点，或者我可以启动一个新的主节点并将其添加到我的集群中吗？删除的原因仍然未知。

非常感谢任何帮助。

标签： hadoophadoop-yarnhigh-availabilitygoogle-cloud-dataproc

Answer 1

在知道我没有太多选择之后，我尝试了以下步骤，并且成功了。

1. 确定当前活跃的NameNode( hdfs haadmin -getServiceState nn0/nn1)
2. 创建当前活动 NameNode 的 AMI
3. 从该 AMI 启动一个与已删除主节点名称完全相同的新实例。（这一点至关重要，因为 hdfs-site.xml 中的所有 hdfs 属性都仅使用此主机名配置。因此请确保此实例的每个细节都完全相同作为丢失的那个。）

我们的 AMI 包含所有必需的配置和服务，因此当新实例启动时，dataproc 将自动识别节点并将其添加到集群中。