apache-spark - DCOS 集群上的 Spark 提交失败并显示“仅通过 REST 提交 API 支持 Mesos 集群模式”
问题描述
我正在尝试在spark-submit
本地运行一个 ssh-tunneled 到我的 mesos 主服务器:
ssh -L 7077:spark-dispatcher.marathon.l4lb.thisdcos.directory:7077 pkara@dcos-master01.mydomain.com
但是我收到以下错误
./spark-submit --deploy-mode cluster --master mesos://localhost:7077 --conf spark.mesos.driverEnv.MYSQL_HOSTNAME= ...
2018-11-14 11:14:18 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Exception in thread "main" java.lang.AssertionError: assertion failed: Mesos cluster mode is only supported through the REST submission API
at scala.Predef$.assert(Predef.scala:170)
at org.apache.spark.deploy.SparkSubmit.prepareSubmitEnvironment(SparkSubmit.scala:673)
at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:143)
at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
解决方案
由于某种原因,当我添加时问题就消失了
--conf spark.master.rest.enabled=true
推荐阅读
- python - 从数据框中提取具有列名的非零数据
- sql - 如果值已经存在则更新 vb 以访问数据库
- python - Tensorflow:sess.run([x]) 不起作用,但 sess.run([y]) 使用相同的 feed_dict
- android - 没有波纹时如何使用圆形蒙版添加自定义彩色圆圈波纹
- python - 熊猫分组忽略某些行值
- html - 如何使用 HTML 中的 IText5 确保段落与同一页面保持一致
- date - Dart - 将时间范围分成几天
- javascript - 反应本机导航 - 子不更新父更新
- c# - 将值添加到缺少数据的列表中
- mysql - 对同一张表使用 FK