apache-spark - spark2-submit 与 spark-submit 不同

Question

spark2-submit 与 spark 提交有何不同。我需要从我的代码迁移我spark 1.6 to spark 2.4仍然可以使用 spark-submit 来启动我的应用程序还是必须迁移到 spark2-submit。

标签： apache-spark

Answer 1

设置以下环境变量后，您可以对 Spark 2.X 使用 spark-submit：

1) SPARK_HOME 到 spark2-client 的路径（例如 /usr/hdp/current/spark2-client） 2) SPARK_MAJOR_VERSION=2

使用这两种配置，即使您在集群上同时安装了 Spark 1.x 和 Spark 2.x，您也可以使用 Spark 2.x 通过相同的命令（如 spark-shell、spark-submit）运行作业