apache-spark - 在 dataproc 上以客户端模式运行 spark 驱动程序的位置？

如果我没记错的话，dataproc 默认在客户端模式下在 YARN 上提交 spark 应用程序。

因此，当我从笔记本电脑提交应用程序时，驱动程序应该在我的笔记本电脑上运行。

尽管如此，我终止了该进程，并且该作业仍在运行。

我想知道司机跑哪去了？

标签： apache-sparkgoogle-cloud-dataproc

我在文档中找不到答案，但我的团队在 Dataproc 上测试了客户端和集群模式。我们使用客户端模式，因为驱动程序在集群的主节点上运行，通过此配置，我们可以分别扩展驱动程序（主机类型）和工作程序。在集群模式下，驱动程序在其中一个工作人员上运行。