时间戳

首页 > 解决方案 > 在 Kubernetes 上运行 spark

apache-spark - 在 Kubernetes 上运行 spark

问题描述

我已经在我的 k8s 集群上安装了 spark charts helm，我有 3 个 pod 运行 1 个 master 和 2 个 executos，但仍然可以提交 spark 作业......在“提交应用程序”部分中https://github.com/bitnami/ chart/tree/master/bitnami/spark它提到我们可以使用./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://: --deploy-mode cluster ./ examples/jars/spark-examples_2.11-2.4.3.jar 1000 但是从哪里来？？从我们的本地机器？从火花主吊舱内部？请问有什么帮助吗？

标签： apache-sparkkuberneteskubernetes-helmbitnami

解决方案

你可以使用 spark 的文档，你已经有一个 Redis 集群。

我找到了这个命令：

./bin/spark-submit \
   --master yarn \
   --deploy-mode cluster \
   wordByExample.py

在 Kubernetes 中将是这样的：

kubectl exec -ti --namespace default spark-worker-0 -- spark-submit --master yarn --deploy-mode cluster wordByExample.py

推荐阅读