apache-spark - 从驱动程序中获取 spark 驱动程序 ID

Question

我们正在以集群部署模式（即在 Spark 中运行的驱动程序）向独立集群提交作业，并希望能够跟踪作业的进度并对其进行检测。
为了做到这一点，我们需要知道 Spark 分配给驱动程序进程的驱动程序的 ID，但我没有看到任何从正在运行的应用程序中获取该信息的方法，因为它不会以任何方式通过 Spark 公开上下文（只暴露应用ID，不一样）。

我是否遗漏了什么，或者真的没有办法从执行代码中知道 driverId？

标签： apache-spark

Answer 1

我不知道如何获得驱动程序 ID。但是，我们可以考虑做一件事。提交后的每个作业都由 Yarn 资源管理器中的应用程序 ID 标识。因此，只要您浏览与 Application Master/Yarn/Resource manager/Application id 相关的日志，就可以跟踪在 Application Master 中运行的驱动程序（由于集群模式）。