apache-spark - 如何在 k8s 上的 spark 中使用 HDFS HA？

Question

我的环境是具有 HDFS HA 模式的 CDH5.11，我在我的 Windows PC 中使用 SparkLauncher 提交应用程序，当我编码时

setAppResource("hdfs://ip:port/insertInToSolr.jar")

它有效，但是当我像这样编码时

setAppResource("hdfs://hdfsHA_nameservices/insertInToSolr.jar")

这没用。我已通过修改将我的 hadoop 配置复制到 spark docker 映像

$SPARK_HOME/kubernetes/dockerfiles/spark/entrypoint.sh 当我docker run -it IMAGE ID /bin/bash 用来运行 CONTAINER 时，在 CONTAINER 中我可以使用 spark-shell 来读取 hdfs 和 hive。

标签： apache-sparkkubernetes