apache-spark - Spark Interpreter 在 Zeppelin 中不起作用
问题描述
我正在使用 Zeppelin 0.7.0 运行 Spark 作业。My Zeppelin 是独立安装,而 Spark 是使用 Hortonworks/Ambari(2.6 版)安装的。当我在 Ambari 检查 Spark 的状态时,它都是绿色的。Zeppelin 对于许多口译员来说也运行良好。但是 Spark 解释器不起作用。我尝试做的任何事情,即使是简单的事情sc.version
都会给出这个完全相同的错误:
java.lang.NullPointerException
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:652)
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:483)
at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
这个错误发生得非常意外。Spark 解释器工作正常,直到几周前开始出现此错误。我已重新启动 Spark 和 Zeppelin,但错误仍然存在。在 Zeppelin 或 Spark 的配置文件中没有进行任何更改来导致此问题。
解决方案
我在 Zeppelin 上遇到了同样的问题,并且使用 Interpreter 设置进行了修复。
- 转到解释器并搜索并选择火花
Interpreter
- 单击编辑并添加
name
并value
作为zeppelin.spark.useHiveContext = false
希望这有效!