一、集群规划
高可用原理
yarn资源调度原理
集群节点规划
二、搭建集群
注意：开始搭建之前务必关闭Hadoop
./stop-all.sh
1、免密钥设置 (远程执行命令)
在两个主节点生成密钥文件，master之前配置过，配置node1，原理相同
ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
2、修改hadoop配置文件
core-site.xml
hdfs-site.xml
（资源已上传，可以直接上传覆盖）
直接下载资源xftp上传覆盖配置文件
同步到其它节点
scp -r hadoop/* node1:/usr/local/soft/hadoop-2.7.6/etc/hadoop
scp -r hadoop/* node2:/usr/local/soft/hadoop-2.7.6/etc/hadoop
3、删除hadoop数据存储目录下的文件 每个节点都需要删除
rm -rf /usr/local/soft/hadoop-2.7.6/tmp
4、启动zookeeper 三台都需要启动
zkServer.sh start 启动
zkServer.sh status 查看状态
5、启动JN 存储hdfs元数据
三台JN上执行 启动命令：
hadoop-daemon.sh start journalnode
6、格式化 在一台NN上执行
hdfs namenode -format
启动当前的NN
hadoop-daemon.sh start namenode
7、执行同步 没有格式化的NN上执行 在另外一个namenode上面执行
hdfs namenode -bootstrapStandby
8、格式化ZK 在已经启动的namenode上面执行
！！一定要先 把zk集群正常 启动起来
hdfs zkfc -formatZK
9、启动hdfs集群,在启动了namenode的节点上执行
start-dfs.sh
10、yarn 高可用
1、修改配置文件
yarn-site.xml
mapred-site.xml
同步到所有节点
scp -r hadoop/* node1:/usr/local/soft/hadoop-2.7.6/etc/hadoop
scp -r hadoop/* node2:/usr/local/soft/hadoop-2.7.6/etc/hadoop
查看传输成功与否
2、启动yarn 在master启动
start-yarn.sh
3、在另外一台主节点上启动RM
yarn-daemon.sh start resourcemanager
查看节点信息：
自动检测主备切换
现在master是主节点，没有什么问题
· 当我们手动杀死nanenode节点，重新加载web界面,发现主备切换，node1代替master'，重新启动master中namenode，master变成备用节点，实现了Hadoop集群的高可用性
重启namenode节点
hadoop-daemon.sh start namenode
查看节点信息
到此就实现了Hadoop集群的高可用性，学习建议使用单节点模式，方便学习，配置完拍快照，建议恢复到之前拍的快照继续学习