scala - NoSuchMethodException:运行 pyspark 代码 zepplin 时的 scala.tools.nsc.interpreter.ILoop.scala
问题描述
我正在尝试在 zeppelin 中运行 pyspark 单元,但在 scala.tools.nsc.interpreter.ILoop.scala 上出现 NoSuchMethodException
单元格代码:
%pyspark
print("hello")
错误:
java.lang.NoSuchMethodException: scala.tools.nsc.interpreter.ILoop.scala$tools$nsc$interpreter$ILoop$$loopPostInit()
at java.lang.Class.getMethod(Class.java:1786)
at org.apache.zeppelin.spark.BaseSparkScalaInterpreter.callMethod(BaseSparkScalaInterpreter.scala:268)
at org.apache.zeppelin.spark.BaseSparkScalaInterpreter.callMethod(BaseSparkScalaInterpreter.scala:262)
at org.apache.zeppelin.spark.SparkScala211Interpreter.open(SparkScala211Interpreter.scala:84)
at org.apache.zeppelin.spark.NewSparkInterpreter.open(NewSparkInterpreter.java:102)
at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:62)
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69)
at org.apache.zeppelin.spark.PySparkInterpreter.getSparkInterpreter(PySparkInterpreter.java:664)
at org.apache.zeppelin.spark.PySparkInterpreter.createGatewayServerAndStartScript(PySparkInterpreter.java:260)
at org.apache.zeppelin.spark.PySparkInterpreter.open(PySparkInterpreter.java:194)
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:617)
at org.apache.zeppelin.scheduler.Job.run(Job.java:188)
at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:140)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
齐柏林飞艇版本:0.8.0
火花版本:2.4.0
斯卡拉版本:2.11.12
解决方案
[ZEPPELIN-3810] Support Spark 2.4中描述了该问题,并且 zeppelin 0.8.1 的发布已解决该问题。
推荐阅读
- react-native - 在 Reducer 中处理复杂对象
- c# - 使用 ItemsControl 或 ControlTemplate 在 WPF 中查看外观
- google-apps-script - 使用 Execution API 在用户授权的附加组件中调用函数
- java - 编写具有多个内部连接和其他条件的 Spring 规范
- flutter - 颤振:发送电子邮件
- javascript - 无法使用 React JS 从 Materialize 下拉列表中获取所选值
- c# - 如何解决由于包降级导致发布自包含控制台应用程序失败?
- ansible - Ansible Playbook 将 telnet show run 命令保存到文件语法错误
- vba - 一种将数据从一个选项卡中的范围复制到另一个选项卡的代码,但是每次运行代码时,它都会将数据复制到下面的行。Excel VBA问题
- windows - Windows DNS 不响应混乱类