apache-spark - 获取有关工作流提交后创建的当前 dataproc 集群的信息

假设我使用 dataproc 工作流模板和临时集群运行 pyspark 作业...如何获取在我的 pyspark 作业中创建的集群的名称

标签： apache-sparkpysparkgoogle-cloud-dataproc

一种方法是分叉并运行以下命令：

/usr/share/google/get_metadata_value attributes/dataproc-cluster-name

唯一的输出将是集群名称，没有任何换行符或任何其他要清理的内容。请参阅运行 shell 命令并捕获输出