时间戳

首页 > 技术文章 > Hadoop之单机模式环境搭建

Hadoop之单机模式环境搭建

hxbbing 2015-05-19 12:04 原文

1、安装CentOS7

准备

　　CentOS系统镜像CentOS-7.0-1406-x86_64-Everything.iso(我在网上下的是这个：CentOS-7-x86_64-Everything-1503-01.iso，很大，7个多G。)

　　vmware workstation 11(这个是在360软件管家里下的，“典型”安装，可以改路径，在网上找一个许可证号，直接就安装成功。)

安装

　　1、点击创建一个新的虚拟机，选择"典型"配置，下一步。

　　2、选择"安装程序光盘镜像文件"，选择已经准备的系统镜像文件，下一步。

　　3、设置账户信息，下一步。

　　　　　　全名：Hadoop

　　　　　　用户名：hadoop

　　　　　　密码：hadoop

　　　　　　确认：hadoop

　　4、设置虚拟机名称和保存路径，下一步。

　　　　　　名称:Hadoop学习

　　　　　　保存路径：默认

　　5、默认配置，下一步。

　　6、默认配置，点击完成。

　　7、等待安装完成。

　　8、输入密码登录系统。

　　至此，系统安装完成。

2、安装JDK1.8.0

准备

　　jdk安装包jdk-8u45-linux-x64.gz

　　http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html

点击Java Platform(JDK) 8u45下载，在最上面Java SE Development Kit 8u45点击Accept License Agreement：

选择jdk-8u45-linux-x64.tar.gz下载。

安装

　　1、查看当前jdk版本。

　　　　#java -version

　　

　　　　这里我卸载了自带的openjdk：　

　　[root@localhost ~]# rpm -qa|grep jdk
　　java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
　　java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64

　　[root@localhost ~]# rpm -qa|grep gcj
　　java-1.4.2-gcj-compat-1.4.2.0-40jpp.115  
　　libgcj-4.1.2-48.el5  

　　[root@localhost ~]# yum -y remove java java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
　　[root@localhost ~]# yum -y remove java java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
　　[root@localhost ~]# yum -y remove java java-1.4.2-gcj-compat-1.4.2.0-40jpp.115  
　　[root@localhost ~]# yum -y remove libgcj-4.1.2-48.el5

　　2、解压准备的JDK文件，解压路径/opt。

　　　　[root@localhost ~]# tar -zxvf /home/hadoop/下载/jdk-8u45-linux-x64.gz -C /opt

　　3、修改配置系统变量。

　　　　[root@localhost ~]#gedit /etc/profile

　　　　#set jdk

　　　　export JAVA_HOME=/opt/jdk1.8.0_45

　　　　export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib
　　　　export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
　

　　　　保存退出，运行。

　　　　#source /etc/profile

　　

　　4、运行命令。

update-alternatives --install /usr/bin/java java /opt/jdk1.8.0_45/bin/java 60
update-alternatives --config java

　　输入新配置的jdk序号:1

　　至此，JDK安装完成。

3、安装Hadoop2.6.0

准备

　　hadoop-2.6.0.tar.gz

　　http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

　　选择一个镜像下载，我选的是：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

安装

　　1、解压Hadoop，解压路径/opt。

　　[root@localhost ~]# tar -zxvf /home/hadoop/下载/hadoop-2.6.0.tar.gz -C /opt　　

　　2、配置hadoop-env.sh

　　文件路径 /opt/hadoop-2.6.0/etc/hadoop

　　在此路径下，打开终端：#gedit hadoop-env.sh

　　在#export JAVA_HOME=${JAVA_HOME}下添加内容:

　　export JAVA_HOME=/opt/jdk1.8.0_45

　　export PATH=$JAVA_HOME/bin:$PATH

　　export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar

　　保存退出。

　　3、配置系统变量。

　　#gedit /etc/profile

　　　　#set hadoop path

　　　　export HADOOP_HOME=/opt/hadoop-2.6.0

　　　　export PATH=$PATH:$HADOOP_HOME/bin

　　#source /etc/profile

　　至此，Hadoop单机模式配置完成。（单机模式，伪分布式，真正分布式）

 

4、SSH无密码登录

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh，# ssh localhost 
不需要输入密码即可登录。

至此，ssh无密码登录配置完成。

 

推荐阅读