hadoop - 上传到 HDFS 停止并显示警告“Slow ReadProcessor read”

Question

当我尝试将大约 20 GB 的文件上传到 HDFS 时，他们通常会上传到大约 12-14 GB 然后他们停止上传，我通过命令行收到一堆警告

    "INFO hdfs.DataStreamer: Slow ReadProcessor read fields for block BP-222805046-10.66.4.100-1587360338928:blk_1073743783_2960 took 62414ms (threshold=30000ms); ack: seqno: 226662 reply: SUCCESS downstreamAckTimeNanos: 0 flag: 0, targets:"

但是，如果我尝试上传文件 5-6 次，它们有时会在第 4 次或第 5 次尝试后工作。我相信如果我更改一些数据节点存储设置，我可以毫无问题地实现一致的上传，但我不知道在 hadoop 配置中要修改哪些参数。谢谢！

编辑：当我通过 python 程序将文件放入 HDFS 时会发生这种情况，该程序使用子进程调用将文件放入。但是，即使我直接从命令行调用它，我仍然遇到同样的问题。

标签： hadoopcluster-computing