时间戳

首页 > 解决方案 > mapreduce 作业丢失连接，然后在 hadoop 示例“计算 pi 3 3”中重新连接

hadoop - mapreduce 作业丢失连接，然后在 hadoop 示例“计算 pi 3 3”中重新连接

问题描述

有谁知道为什么？作业总是卡在进行中（不是0%），>有时可能会断开然后重新连接，基本上作业无法>完成！！！

会不会是分配给mapreduce的内存太少了？期待帮助！

[debura@master mapreduce]hadoop jar hadoop-mapreduce-examples-2.7.3.jar pi 3 3
地图数量 = 每个地图 3 个样本 = 3
为地图#0
编写输入 为地图#1
编写输入 为地图#2 编写输入
开始作业
19/12/05 21:04:20 INFO client.RMProxy：在 master/192.168.56.110:8032 连接到 ResourceManager
19/12/05 21:04:21 INFO input.FileInputFormat：要处理的总输入路径：3
2005 年 19 月 12 日 21:04:22 信息 mapreduce.JobSubmitter：拆分次数：3
2005 年 19 月 12 日 21:04:22 信息 mapreduce.JobSubmitter：提交作业令牌：job_1575550949758_0001
19/12/05 21:04： 23 INFO impl.YarnClientImpl: 提交申请application_1575550949758_0001
19/12/05 21:04:23 INFO mapreduce.Job：跟踪作业的 url：http://master:8088/proxy/application_1575550949758_0001/
19/12/05 21:04:23 INFO mapreduce.Job：正在运行作业：job_1575550949758_0001 19/12/05 21:04:30 INFO mapreduce.Job：作业 job_1575550949758_0001 在 uber 模式下运行：false
19/12/05 21:04:30 INFO mapreduce.Job：地图 0% 减少 0%
19/12 /05 21:04:34 信息 mapreduce.Job：地图 33% 减少 0%
19/12/05 21:04:45 信息 mapreduce.Job：地图 33% 减少 11%
19/12/05 21:07:31 信息mapreduce.Job：任务 ID：尝试_1575550949758_0001_m_000001_0，状态：失败
container_1575550949758_0001_01_000004 的容器启动失败：java.net.ConnectException：从 slave2/192.168.56.112 到 localhost:42149 的调用因连接异常而失败：java.net.ConnectException：连接被拒绝；有关更多详细信息，请参阅： http
://wiki.apache.org/hadoop/ConnectionRefused at sun.reflect.GeneratedConstructorAccessor47.newInstance(Unknown Source)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang。 reflect.Constructor.newInstance(Constructor.java:423)
...

然后再次重新连接

19/12/05 21:07:36 INFO mapreduce.Job: map 67% reduce 11%
19/12/05 21:07:37 INFO mapreduce.Job: map 67% reduce 22% 19/12/05 21:10 ：33信息mapreduce.Job：任务ID：尝试_1575550949758_0001_m_000000_1，状态：
容器启动失败容器_1575550949758_0001_01_000007失败：java.net.ConnectException：从slave2 / 192.168.56.112调用到java.net.ConnectException：421连接异常：拒绝；有关更多详细信息，请参阅： http
://wiki.apache.org/hadoop/ConnectionRefused ...

标签： hadoopmapreduce

解决方案

似乎数据节点没有在 slave2 上运行，或者 hdfs-site.xml 被错误配置为客户端应该从中读取的位置

从 slave2/192.168.56.112 到 localhost:42149 失败

推荐阅读