hadoop - 运行较大的 YARN 作业的主要限制是什么？如何增加它？

Question

运行较大的 YARN 作业（Hadoop 版本 HDP-3.1.0.0 (3.1.0.0-78)）的主要限制是什么？如何增加它？基本上，想要同时做更多（所有这些都非常大）的 sqoop 作业。

我目前假设我需要增加资源管理器堆大小（因为这是我在运行 YARN 作业时在 Ambari 仪表板上看到的内容）。如何向 RM 堆添加更多资源/为什么 RM 堆似乎只占整个集群可用 RAM（对 YARN？）的一小部分？

在 Ambari 中查看：YARN 集群内存为 55GB，但 RM 堆只有 900MB。 有更多经验的人可以告诉我有什么区别，哪个是运行更多 YARN 应用程序的限制因素（同样，我该如何增加它）？还有什么我应该看的吗？任何文档更详细地解释了这一点？

标签： hadoophadoop-yarnresourcemanagerhdp

Answer 1

调整 YARN 和 MapReduce 内存的便捷方法是使用yarn-utils脚本。

下载配套文件 ##参考

wget http://public-repo-1.hortonworks.com/HDP/tools/2.6.0.3/hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz

tar zxvf hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz

---

执行 YARN 实用程序脚本 ## Ref

您可以通过提供可用内核、可用内存、磁盘数量、是否安装 HBase来执行yarn-utils.py python 脚本。

如果您有一个异构 Hadoop 集群，那么您必须根据节点规范创建配置组。如果您需要更多相关信息，请告诉我，我将据此更新我的答案。