apache-spark - 在 kubernetes 外使用 YARN Spark Cluster 在 kubernetes 上运行 Zeppelin

Question

我正在尝试在 kubernetes 上部署 Zeppelin 0.9.0 并将其配置为在 kubernetes 之外使用 YARN Spark 集群。

为此，我创建了一个自定义 zeppelin 图像，其中我复制了 spark（使用 Hadoop）文件。我已经正确设置了 SPARK_HOME、HADOOP_CONF_DIR 并将模式设置为 yarn-client。

在 Zeppelin 中运行任务时，我可以在 Hadoop 任务列表中看到该作业，但出现以下错误：-“原因：java.io.IOException：无法连接到 spark-sygkqe:41001”。

Hadoop 中的 Spark 正在尝试使用集群内部的主机名与 Zeppelin 解释器连接。有什么办法可以让它工作吗？

标签： apache-sparkhadoopkubernetes