在腾讯云Centos8上搭建Hadoop伪分布环境

第一步，进入centos8服务器，下载hadoop软件

　　1.运行命令

　　wget https://downloads.apache.org/hadoop/common/stable/hadoop-3.3.0.tar.gz

　　或者在https://apache.org/index.html#projects-list网页上寻找合适链接再运行wget

　　2.建立程序文件夹

　　mkdir /root/.program

　　3.解压缩并将软件放入合适的位置（位置随意）

　　tar -zxvf hadoop-3.3.0.tar.gz -C /root/.program/

　　mv /root/.program/hadoop-3.3.0 hadoop

第二步，配置环境变量

　　1.配置java环境变量

　　https://www.cnblogs.com/angbors/p/14754989.html

　　2.配置hadoop环境变量

　　如无vim可以安装（yum -y install vim）

　　vim .bashrc

　　在文件的最后加入

#Hadoop Environment
export HADOOP_HOME=/root/.program/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　3.验证是否安装成功

　　hadoop version

　　出现如下内容为成功

Hadoop 3.3.0
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r aa96f1871bfd858f9bac59cf2a81ec470da649af
Compiled by brahma on 2020-07-06T18:44Z
Compiled with protoc 3.7.1
From source with checksum 5dc29b802d6ccd77b262ef9d04d19c4
This command was run using /root/.program/hadoop/share/hadoop/common/hadoop-common-3.3.0.jar

第三步，配置伪分布环境

　　1.进入配置文件夹

　　cd /root/.program/hadoop/etc/hadoop/

　　vim core-site.xml

　　在其中填写

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/root/.program/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

　　core-site.xml完毕

　　vim hdfs-site.xml

<configuration>
    <property>
         <name>dfs.replication</name>
         <value>1</value>
    </property>
    <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/root/.program/hadoop/tmp/dfs/name</value>
    </property>
    <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/root/.program/hadoop/tmp/dfs/data</value>
    </property>
    <property>
          <name>dfs.http.address</name>
          <value>0.0.0.0:50070</value>
    </property>
</configuration>

　　hdfs-site.xml完毕

　　vim mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

　　mapred-site.xml完毕

　　vim yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanage.hostname</name>
        <value>localhost</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.application.classpath</name>
        <value>/root/.program/hadoop/etc/hadoop:/root/.program/hadoop/share/hadoop/common/lib/*:/root/.program/hadoop/share/hadoop/common/*:/root/.program/hadoop/share/hadoop/hdfs:/root/.program/hadoop/share/hadoop/hdfs/lib/*:/root/.program/hadoop/share/hadoop/hdfs/*:/root/.program/hadoop/share/hadoop/mapreduce/*:/root/.program/hadoop/share/hadoop/yarn:/root/.program/hadoop/share/hadoop/yarn/lib/*:/root/.program/hadoop/share/hadoop/yarn/*
</value>
    </property>

</configuration>

　　yarn-site.xml完毕　　

　　注意！其中

<name>yarn.application.classpath</name>
<value>  </value>
value的值需要在终端输入hadoop classpath得到后自行替换

　　vim hadoop-env.sh

export JAVA_HOME=/usr/lib/java/java-8-sun
export HADOOP_LOG_DIR=/root/.program/hadoop/tmp/logs

　　如果是centos系统，以root用户身份登录，则必须还要追加如下内容

　　注意，如非root用户操作，不要追加如下内容！

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

　　2.验证

　　cd /root/.program/hadoop/

　　./sbin/start-all.sh

说在最后

　　看起来已经配置完成了，但是还没有结束。

　　由于端口等都为默认值和开放状态，运行2个小时之后就被劫持了，被注入了木马控制成为了挖矿僵尸服务器。然后服务器就崩了。

　　暂时的解决办法是关闭所有端口，平时停止服务。

　　解决方法会在后面的使用中再继续研究。

在腾讯云Centos8上搭建Hadoop伪分布环境

推荐阅读