hadoop - YARN 聚合资源分配（来自命令）与分配的内存（在 RM UI 中）

Question

我正在尝试使用“yarn application -status”命令来收集以前运行作业的资源利用率。这篇文章建议该命令的 MB 秒输出是应用程序分配的内存乘以应用程序运行的秒数。因此，我希望对于任何应用程序，我都可以采用该数字，将其除以该命令也报告的开始时间和结束时间之间的差异，并获得应用程序的总分配内存。与 vcore-seconds 相同。

这是有道理的，但是如果我查看 YARN RM 中正在运行的应用程序，我的应用程序报告的分配内存（和内核）是我从 MB-seconds 和 vcore-seconds 计算得出的两倍。当我说 YARN RM 中报告的分配内存是双倍时，我的意思是如果我在 UI 中连续点击刷新，它最终显示的数量是我从聚合结果中计算出的两倍。

这是为什么？汇总结果是否更像一个平均值，将我计算的使用量翻倍以获得近似的峰值使用量是否正确？

标签： hadoophadoop-yarn