hdfs - 在 HDFS 上写入会导致 502 响应
问题描述
我正在 HDFS 上写一个文本文件。
该操作每分钟进行一次。
如果尝试 10 篇文章,我会得到 7 篇 502 响应和 3 篇 201 响应。
即使重复相同的代码也会发生这种情况。
这可能是什么原因?
我必须少写吗?
任何想法表示赞赏:)
解决方案
根据https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Create_and_Write_to_a_File,这个操作有两个步骤。
首先,我必须获取数据节点的位置,然后我可以将文件上传到该位置。
我跳过了第 2 步,只是尝试在第 1 步上传。
但这在我使用的系统中不受支持。
所以,我添加了第 2 步,现在效果很好。