apache-spark - 如何修复'java.lang.NoSuchMethodError: scala.collection.immutable.$colon$colon.hd$1()Ljava/lang/Object'
问题描述
所以我开始编写我自己的 Oozie 工作流,其中包含 Apache Spark 操作,问题是即使我清楚地使用 Scala 2.11.8 和 Spark 2.3.0 对我的源代码进行了 sbt 打包,纱线说
java.lang.NoSuchMethodError: scala.collection.immutable.$colon$colon.hd$1()Ljava/lang/Object;
有一个包含 Hortonworks HDP Sandbox 的 docker 容器,该容器在 ec2 机器上运行,具有 16 核 cpu 和 41 gigs 内存。我已经使用命令行更新了 Oozie 共享库。下面是我的 job.properties 文件和 workflow.xml 文件。
工作属性
jobTracker=sandbox-hdp.hortonworks.com:8032
master=yarn-cluster
oozie.action.sharelib.for.spark=spark2
oozie.action.sharelib.for.spark.exclusion=oozie/jackson
# Time and schedule details
start_date=2015-01-01T00:00Z
end_date=2015-06-30T00:00Z
frequency=55 23 L * ?
nameNode=hdfs://sandbox-hdp.hortonworks.com:8020
# Workflow to run
wf_application_path=hdfs://sandbox-hdp.hortonworks.com:8020/user/hue/learn_oozie/ch08/spark_rainfall
# Coordinator to run
oozie.coord.application.path=hdfs://sandbox-hdp.hortonworks.com:8020/user/hue/learn_oozie/ch08/spark_rainfall
# Datasets
data_definitions=hdfs://sandbox-hdp.hortonworks.com:8020/user/hue/learn_oozie/ch08/datasets/datasets.xml
# Controls
timeout=10
concurrency_level=1
execution_order=FIFO
materialization_throttle=1
工作流.xml
<workflow-app name="ch08_spark_max_rainfall" xmlns="uri:oozie:workflow:0.5">
<start to="max_rainfall"/>
<action name="max_rainfall">
<spark xmlns="uri:oozie:spark-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<master>${master}</master>
<name>"Spark Ch08 Max Rain Calculator"</name>
<class>life.jugnu.learnoozie.ch08.MaxRainfall</class>
<jar>hdfs://sandbox-hdp.hortonworks.com:8020/user/hue/learn_oozie/ch08/rainbow/target/scala-2.11/rainbow_2.11-1.0.14.jar</jar>
<spark-opts>
--conf spark.yarn.historyServer.address=http://sandbox-hdp.hortonworks.com:18088
--conf spark.eventLog.dir=hdfs://sandbox-hdp.hortonworks.com:8020/user/spark/applicationHistory
--conf spark.eventLog.enabled=true
</spark-opts>
<arg>${input}</arg>
<arg>${output}</arg>
</spark>
<ok to="End"/>
<error to="Kill"/>
</action>
<kill name="Kill">
<message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="End"/>
</workflow-app>
我希望这个工作流运行没有任何问题,并将结果写入远程集群中的 HDFS,但是 spark 操作被以下错误消息杀死。
线程“main”中的异常 java.lang.NoSuchMethodError: scala.collection.immutable.$colon$colon.hd$1()Ljava/lang/Object; 在 org.apache.spark.deploy.yarn.ApplicationMasterArguments.parseArgs(ApplicationMasterArguments.scala:45) 在 org.apache.spark.deploy.yarn.ApplicationMasterArguments.(ApplicationMasterArguments.scala:34) 在 org.apache.spark.deploy。 org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala) 上的 yarn.ApplicationMaster$.main(ApplicationMaster.scala:576)
解决方案
我有同样的问题。这是因为我们在集群上使用了 4.1.0 版的 Oozie。Spark 操作仅适用于 4.2.0+。
推荐阅读
- chart.js - 如何在条形元素周围一直绘制边框
- javascript - 如何使用 javascript / jQuery 获取数据 ajax api 数组?
- javascript - 使用tailwind css进行暗模式
- python - 在 Python 中查找 2 个子字符串组合之间的字符串列表
- javascript - 在数组中添加一个具有值的新列
- javascript - 带有微软翻译 API 的 Javascript 多翻译网站
- php - 使用 laravel/php 自动将应用内购买包添加到 Apple Store
- android - 在应用内购买Andriod但付款被拒绝时的响应码是什么?为什么这么多被拒绝的订单根本没有任何响应代码?
- typescript - nestjs - neovim [import-prefix-missing no-local: Unable to load a local module] 错误
- javascript - slick-carousel 不适用于 MVC 的部分视图