时间戳

首页 > 解决方案 > Apache Impala - 类似 YARN 的查询 CPU 利用率报告（在 Cloudera 上）

hadoop-yarn - Apache Impala - 类似 YARN 的查询 CPU 利用率报告（在 Cloudera 上）

问题描述

我们将 YARN 和 Impala 放在同一个 cloudera 集群上，YARN 利用率报告和 YARN 历史服务器提供更有价值的信息，例如 YARN CPU (Vcores) 和内存使用情况。

IMPALA 是否存在类似的情况，我可以在 Cloudera 集群上获取每个查询以及整体上的 CPU 和内存使用情况。

确切地说，我想知道在其 CPU 分配中使用了多少 Vcor​​e。

例如，一个 Impala 查询需要 10 秒来执行一个查询，假设它使用了 4 个 vcore 和 50MB 的 RAM，我如何找出使用了 4 个 vcore。

是否有任何直接的方法可以从集群中查询这个或任何其他关于如何计算 CPU 利用率的方法？

标签： hadoop-yarncpu-usageclouderaimpala

解决方案

您可以通过 Cloudera Manager Charts 获得大量信息。您可以在他们的网站上找到所有可用指标的概述，或者在创建新图表时单击右侧的帮助符号。

Impala 有很多类别可能值得您一读。例如一般 Impala 指标和Impala 查询指标。例如，查询指标包含以字节为单位测量的“memory_usage”，而一般指标包含“impala_query_cm_cpu_milliseconds_rate”和“impala_query_memory_accrual_rate”。这些似乎与您的用例相关，但请查看它们和链接的站点以查看哪些适合您的用例。

更多信息可从 Cloudera Manager 中 Impala 服务的服务页面获得。您可以在此处找到有关此页面的更多信息，但例如链接页面提到：

Impala 查询页面显示有关正在运行和已在集群中运行的 Impala 查询的信息。您可以按时间段和指定简单的过滤表达式来过滤查询。

它还允许您为每个查询显示“线程：CPU 时间”和“工作 CPU 时间”，这同样可能与您相关。

这就是 Impala 提供的所有信息。

推荐阅读