apache-spark - 如何在 Kubernetes 集群中自动扩展 Spark 作业

Question

需要关于运行 spark/kubernetes 的建议。我有带有原生 kubernetes 支持的 Spark 2.3.0。我正在尝试使用 spark-submit 运行 spark 作业，参数 master 为“kubernetes-apiserver:port”和其他必需参数，如 spark image 和此处提到的其他参数。如何启用自动缩放/根据负载增加工作节点的数量？有我可以遵循的示例文件吗？一些基本的示例/文档将非常有帮助。或者有没有其他方法可以在 kubernetes 上部署 spark 可以帮助我实现基于负载的自动扩展。

标签： apache-sparkkubernetesautoscaling

Answer 1

基本上，Apache Spark 2.3.0 不正式支持 K8S 集群上的自动缩放，正如您在 2.3.0 之后的工作中看到的那样。

顺便说一句，它仍然是一个正在开发中的功能，但你可以尝试使用 Spark 2.2 的 k8s fork