hadoop-yarn - Yarn local-dirs - 每个节点设置

Question

在我们的生产集群上，我不时遇到一系列 devops 问题。有时，/分区会在几个节点上不堪重负。长话短说，事实证明这些节点有 1 个而不是 2 个数据驱动器。如果我们的集群上没有以下设置，这将不是问题：

   <property>       
      <name>yarn.nodemanager.local-dirs</name>       
      <value>/data1/hadoop/yarn/local,/data2/hadoop/yarn/local</value> 
   </property>

一些 devops 或任何人，注意到较小的节点上没有 /data2 分区，提出了简单地使用/分区的想法。由于/是 16GB，一些对数据要求更高的工作很快就会填满这个东西。

现在，我的问题是：yarn 是否支持 yarn.nodemanager.local-dirs 的每个节点设置？

我通过/data2/hadoop/yarn/local从故事中删除来解决问题，但感觉并不完美。

我们正在使用 HDP 2.6.4。

谢谢！

标签： hadoop-yarndevopshdp

Answer 1

YARN 允许这样做，因为每个节点管理器都会读取它的本地 yarn-site.xml。但是，我不知道您将如何在 Ambari 中执行此操作。