时间戳

首页 > 解决方案 > Spark operator vs spark submit - 如何选择使用哪一个？

apache-spark - Spark operator vs spark submit - 如何选择使用哪一个？

问题描述

在 Kubernetes 上运行 Spark 应用程序有两种方法。

  1. 使用带有k8s://主 URL 的 spark-submit。
  2. 使用spark-on-k8s-operator。借助 spark 运算符中 CRD 的优势，我们可以使用配置文件 (YAML) 对 spark pod 进行声明式管理。

在 Kubernetes 上运行 1000 多个 spark 工作负载的生产环境中，我该如何选择它们？

使用 spark 运算符有什么优缺点？

标签： apache-sparkkubernetes

解决方案

推荐阅读