hadoop - HDP的HDFS复制过程真的很慢

Question

我目前正在同时使用CDH和HDP。我CDH的系统的复制过程运行良好，但HDP没有

例如：

• 当我将（20TB）中大目录的复制因子设置为HDFS2时，HDFS需要删除2 millions blocks

• 当我再次将上述目录的复制因子设置为 3 时，HDFS 将需要解析2 millions under replicated blocks

在CDH，我只花了3-5 小时或更短的时间完成，但HDP花了我大约2 天。

我想提高HDP.

我四处搜索，发现更改一些复制配置HDFS可能会有所帮助。我还发现HDP错过这些配置比较CDH：

• dfs.namenode.replication.max-streams（默认：2，CDH：20）
• dfs.namenode.replication.max-streams-hard-limit（默认值：4，CDH：40）
• dfs.namenode.replication.work.multiplier.per.iteration（默认值：2，CDH：30）

HDP我以类似的方式更改了上述配置，CDH但没有运气。希望有人能帮忙！

标签： hadoophdfsreplicationhortonworks-data-platform