hive - 带节点标签的 hive llap

Question

我有一个 hortonworks 3.1 集群。最初，我有 6 个数据节点，3 个主节点，这 6 个数据节点都有 96gb 的内存。我能够很好地启动 3 个 llap 节点。现在我有 3 个新节点，256gb 内存，我现在想将它们用于 llap 节点。

我向 3 个新节点添加了节点标签“llap”。然后我为 llap 队列分配了相同的标签。（所有其他节点都是默认标签）

出于某种原因，当我启动 llap 时，出现以下错误：失败：org.apache.hadoop.yarn.exceptions.YarnException：组件 llap：指定的内存大小（224256）大于配置的最大容器内存大小（94208）

我已经尝试了我能想到的一切，但似乎 llap 想在旧节点上启动，而不是新节点......

我已经用谷歌搜索了我的生活，但我一直在从 cloudera / hortonworks 找到相同的参考，我一遍又一遍地搞砸了......任何帮助将不胜感激！

标签： hivehadoop-yarn

Answer 1

您的错误是由于 YARN 的配置参数决定了最大容器大小：

• yarn.scheduler.maximum-allocation-mb

在您的情况下，您尝试分配给单个容器 224256MB，您的配置yarn.scheduler.maximum-allocation-mb是 94208MB。

有一篇非常好的文章详细介绍了如何设置 LLAP 配置：

https://community.cloudera.com/t5/Community-Articles/LLAP-sizing-and-setup/ta-p/247425