时间戳

首页 > 解决方案 > 用于执行火花作业的 Oozie 工作流

apache-spark - 用于执行火花作业的 Oozie 工作流

问题描述

我已经设置了一个工作流来执行火花作业。使用普通脚本运行时的工作流似乎运行良好，并且 Spark 应用程序在单独执行时运行良好。

但是，当 Oozie 工作流执行火花作业时，我收到以下错误

18/05/09 17:38:40 ERROR ApplicationMaster: User class threw exception: java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object;)Lscala/runtime/ObjectRef;
java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object;)Lscala/runtime/ObjectRef;

我正在使用 2.1.0 版的 Spark 和 2.11.8 版的 Scala，但我仍然面临这个问题。

让我知道我是否遗漏了什么

标签： apache-sparkoozie

解决方案

推荐阅读