java - 执行 mapreduce (hadoop) 后清空输出文件

Question

嗨，当我尝试在 hadoop 上使用 jar 时，我遇到了这个问题。但是我的输出文件夹是空的，我收到了这个错误信息。我想知道如何解决这个问题？我在堆栈上看到一些帖子说我需要将一个属性更改为这个 -> mapreduce.map.failures.maxpercent。但是我找不到它的位置，我试图在 mapred-site.xml 中看到它，但没有与此类似的行。我也不确定这条线是否能解决任何问题。

标签： javahadoop

Answer 1

从屏幕截图中可以看出，作业失败了。地图任务失败（Failedmap 任务=4）。检查其他日志以更正代码问题。

将在 Hadoop 安装目录的日志/用户日志中创建一个具有相同应用程序 ID 的文件夹。例如：HADOOP_INSTALLATION_DIR/logs/userlogs/application_xxxxxxxxxxxxxxx_xxxx

您可以检查 syslog 和 sysout 消息。