时间戳

首页 > 解决方案 > 从 Shell 调用 Spark2 的命令是什么

apache-spark - 从 Shell 调用 Spark2 的命令是什么

问题描述

我的集群中有两项 Spark 服务，一项名为 Spark（1.6 版本），另一项名为 Spark2（2.0 版本）。我可以使用以下命令调用 Spark。

spark-shell --master 纱线

但即使设置“export SPARK_MAJOR_VERSION=2”后也无法连接 Spark2 服务

有人可以帮我吗。

标签： apache-spark

解决方案

我正在使用 CDH 集群，以下命令对我有用。

spark2-shell --queue <queue-name-if-any> --deploy-mode client

推荐阅读