首页 > 技术文章 > 完全分布式配置

Tsugar 2020-05-04 19:50 原文

1.core-site.xml

<configuration>
<!-- 指定文件系统 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
</property>
<!-- 指定HDFS的数据存储位置 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/soft/hadoop-2.7.7/tmp</value>
</property>
</configuration>

2.hdfs-site.xml

<configuration>
<!-- 指定HDFS中的副本数量 -->
<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>slave2:50090</value>
</property>

<!--关闭HDFS的权限检查-->
<property>
        <name>dfs.permissions</name>
        <value>false</value>
</property>
</configuration>

3.yarn-site.xml

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>slave1</value>
</property>
<!-- 日志聚集功能开启 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志文件保存的时间,以秒为单位 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>640800</value>
</property>

</configuration>

4.mapreduce-site.xml

<configuration>
<!-- 将MapReduce配置成基于YARN的系统 -->
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>
<property>
       <name>mapreduce.jobhistory.address</name>
       <value>slave1:10020</value>
</property>
<property>
       <name>mapreduce.jobhistory.webapp.address</name>
       <value>slave1:19888</value>
</property>
</configuration>

5.slaves

master
slave1
slave2

推荐阅读