java - 提交火花作业时获取 java.lang.NoSuchMethodError
问题描述
提交火花作业时遇到错误:
这可能是什么原因?我通过以下方式提交火花工作:
/current/spark2-client/bin/spark-submit \
--class com.pkg.ml.models.ML \
--master yarn-cluster \
--driver-memory 8G \
--executor-memory 2G \
--num-executors 100 \
--files ml.properties \
--jars /current/phoenix-client/phoenix-client.jar,/current/phoenix-client/lib/phoenix-spark-4.7.0.2.6.1.0-129.jar,/2.4.2.0-258/spark/lib/datanucleus-api-jdo-3.2.6.jar,/2.4.2.0-258/spark/lib/datanucleus-api-jdo-3.2.6.jar,/2.4.2.0-258/spark/lib/datanucleus-core-3.2.10.jar \
spark-ml-0.0.2.jar ml.properties $1 $2
rc=$?
if (( $rc )); then
echo "Job failed" 1>&2
exit $rc
fi
谢谢
解决方案
它很可能需要在 VM 中进行更新。它包含在 VM 中纯粹是为了方便 - 因为它不是 CDH 的官方支持或包含的一部分,它不会像其他所有东西一样经过所有相同的测试。
推荐阅读
- javascript - 如何从对象数组创建单个数组
- r - 我怎样才能在 R 中使用 3 种不同颜色随机着色图形点,仅使用 R 基本
- git - 我们如何才能将所有拉取请求及其各自的提交保存在 Github 本地?
- scala - 如何在scala中将ISO 8601时间戳转换为unix时间戳
- apex - Oracle APEX 侧边导航菜单——扩展子导航菜单项
- rest - 停车/加油错误的 REST 请求:“请求缺少 app_id 和 app_code 参数。”
- java - Java 计时器 - 使用 Platform.runLater 更新标签
- python - 循环中常量数组切片的时间复杂度
- html - 为什么“你好”不去左上角?
- javascript - 如何将变量从引导模式传递给 PHP?