hadoop - 从配置单元日志中获取给定查询的应用程序 ID

Question

在我们的环境中，我们有许多用户从不同的工具发出 Hive 查询。很多时候用户会给我们一个查询，说它在某个时间左右失败，我们需要挖掘并找到原因。所以我们需要解析 hive 日志并找到查询。

查找查询是更容易的部分，一旦在 hive 日志中找到查询（通常在执行命令之后），有没有一种方法可以轻松找出与之关联的纱线应用程序 ID？

我正在尝试自动化这个过程，这样我就可以减少我们的分析时间。

谢谢

标签： hadoophivehadoop-yarn

Answer 1

您可以做的一件事是，您可以使用该yarn application -list -appStates ALL命令。它的作用是，它将为您提供所有应用程序的列表以及它们各自的应用程序 ID、名称、用户、状态、跟踪 url 等。因此您可以深入了解您需要的内容。您甚至可以指定状态，例如您需要哪些状态数据：-yarn application -list -appStates FINISHED将显示所有状态为已完成的记录。