时间戳

首页 > 解决方案 > MapReduce 任务正在运行，但未生成 jhist 文件

hadoop - MapReduce 任务正在运行，但未生成 jhist 文件

问题描述

我正在尝试为 hadoop-2.7.2 设置单个集群主/从配置。设置工作正常，我可以在上面运行 MapReduce 测试。目标是运行一些测试并捕获性能和/或基准。

问题是，其中一个脚本依赖于 HistoryServer 创建的 jhist 文件。尽管 HistoryServer 正在运行，但 jhist 文件并未在/tmp/hadoop-yarn/.

主 hadoop 和从属 hadoop 是 chrooted 并且可以通过 ssh 访问彼此。我的相关部分的 mapred-site.xml 是 -

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop-master:10020</value>
    <description>Enter your JobHistoryServer hostname.</description>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop-master:19888</value>
    <description>Enter your JobHistoryServer hostname.</description>
</property>

<property>
        <name>mapreduce.jobhistory.intermediate-done-dir</name>
        <value>/tmp/hadoop-yarn/staging/history/done_intermediate</value>
</property>

<property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/tmp/hadoop-yarn/staging/history/done</value>
</property>

我不知道hadoop的内部和外部，因为我的目标是使用hadoop进行性能分析并找到瓶颈。

标签： hadoopconfiguration

解决方案

推荐阅读