apache-spark - GKE 上的 Dataproc 在提交作业时不使用图像

Question

为什么 GKE 上的 Dataproc 不支持 Docker 映像提交作业，而是使用原始代码用于 python/R 和 jar 用于其他人。提供容器映像不应该是向 GKE 提交作业的理想方式，无论是普通作业还是 Dataproc 作业？这是在计划中还是正在进行中？

参考：https ://cloud.google.com/dataproc/docs/concepts/jobs/dataproc-gke

标签： apache-sparkgoogle-cloud-platformgoogle-kubernetes-enginegoogle-cloud-dataproc

Answer 1

如问题评论中所述，当前 GKE 上的 Dataproc 迭代背后的主要目的是提供与 GCE 上的 Dataproc 相同的用户体验。这就是为什么它支持不使用 Docker 镜像来执行 Spark 作业的相同 API，并且近期没有计划添加对此的支持。也就是说，未来 Dataproc 可能会决定支持某种容器作为提交作业的一流方式（除了 jar 等）。