首页 > 解决方案 > 在 HDFS 上写入会导致 502 响应

问题描述

我正在 HDFS 上写一个文本文件。

该操作每分钟进行一次。

如果尝试 10 篇文章,我会得到 7 篇 502 响应和 3 篇 201 响应。

即使重复相同的代码也会发生这种情况。

这可能是什么原因?

我必须少写吗?

任何想法表示赞赏:)

标签: hdfsgateway

解决方案


根据https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Create_and_Write_to_a_File,这个操作有两个步骤。

首先,我必须获取数据节点的位置,然后我可以将文件上传到该位置。

我跳过了第 2 步,只是尝试在第 1 步上传。

但这在我使用的系统中不受支持。

所以,我添加了第 2 步,现在效果很好。


推荐阅读