apache-spark - YARN 作业在接受状态下花费的时间

Question

如何检查 Spark 作业在分配资源之前处于接受状态的时间？我可以在 YARN UI 中检查它还是 Spark 为此发布了一些遥测数据？我们可以在作业运行时看到状态，但是我们如何查看旧作业呢？

标签： apache-sparkhadoop-yarn

Answer 1

在纱线日志中查找状态变化

<timestamp> INFO impl.YarnClientImpl: Submitted application application_XXX
<timestamp>  INFO yarn.Client: Application report for application_XXXX (state: ACCEPTED)

然后，您可以捕获状态更改时的时间差异。