apache-spark - spark2-submit 抛出多个包的错误(--packages)
问题描述
我正在尝试在 CDH 5.16 集群上提交以下 Spark2 作业,它只采用 --packages 选项的第一个参数并为第二个参数抛出错误
spark2-submit --packages com.databricks:spark-xml_2.11:0.4.1, com.databricks:spark-csv_2.11:1.5.0 /path/to/python-script
Exception in thread "main" org.apache.spark.SparkException: Cannot load main class from JAR com.databricks:spark-csv_2.11:1.5.0 with URI com.databricks. Please specify a class through --class.
at org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:657)
at org.apache.spark.deploy.SparkSubmitArguments.loadEnvironmentArguments(SparkSubmitArguments.scala:224)
at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:116)
at org.apache.spark.deploy.SparkSubmit$$anon$2$$anon$1.<init>(SparkSubmit.scala:911)
at org.apache.spark.deploy.SparkSubmit$$anon$2.parseArguments(SparkSubmit.scala:911)
at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:81)
at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
在 CDH5.16 集群中运行此作业并使用 Spark2 CSD 安装 spark
提前致谢。
解决方案
不要在包裹之间留出空间
spark2-submit --packages com.databricks:spark-xml_2.11:0.4.1,com.databricks:spark-csv_2.11:1.5.0 /path/to/python-script
推荐阅读
- kotlin - 如何从多项式表达式中获取系数?
- android - RecyclerView DiffUtil 需要手动更新数据吗?
- python - 如何在我的 PySide(Maya) 脚本中修复“非序列迭代”
- javascript - Express Router delete with mongoose 不适用于 ES8 语法
- json - 存储大量可查询的 JSON
- android - 如何使用渐变颜色为在bottomNavigationView中选择的图标着色
- javascript - JavaScript 中的@media 屏幕?
- visual-studio - Showing OutputDebugString messages with Window application?
- bash - 创建一个包含 bash 命令替换和参数的 git 别名
- angular - Template parse errors: There is no directive with "exportAs" set to "cdkDropList"