时间戳

首页 > 解决方案 > 如果不兼容，如何运行 Apache Zeppelin 0.9.0 和 Apache Spark 3.1.1？

apache-spark - 如果不兼容，如何运行 Apache Zeppelin 0.9.0 和 Apache Spark 3.1.1？

问题描述

所以我正在尝试使用 Apache Zeppelin 但它会出现以下错误

org.apache.zeppelin.interpreter.InterpreterException: org.apache.zeppelin.interpreter.InterpreterException: Fail to open SparkInterpreter
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:76)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:836)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:744)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:172)
    at org.apache.zeppelin.scheduler.AbstractScheduler.runJob(AbstractScheduler.java:132)
    at org.apache.zeppelin.scheduler.FIFOScheduler.lambda$runJobInScheduler$0(FIFOScheduler.java:42)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.zeppelin.interpreter.InterpreterException: Fail to open SparkInterpreter
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:122)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    ... 8 more
Caused by: java.lang.Exception: This is not officially supported spark version: 3.1.1
You can set zeppelin.spark.enableSupportedVersionCheck to false if you really want to try this version of spark.
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:112)

我不确定如何将 zeppelin.spark.enableSupportedVersionCheck 设置为 false。另外，我不确定我是否应该这样做，因为 Zeppelin 文档明确指出“请勿更改 - 仅限开发人员设置，不用于生产用途”

但是我不知道如何在不卸载我当前版本的 Apache spark 并用旧版本替换它的情况下使这些兼容，我真的不想这样做。

任何建议表示赞赏！感谢您的时间！

标签： apache-sparkapache-zeppelin

解决方案

运行它的唯一方法（我正在运行版本 3.1.2）是禁用该检查。我发现在那之后，Zeppelin 在 YARN 客户端模式下使用 Spark 运行良好。出于某种原因，我无法让它在集群模式下工作。您可能希望在其他配置中运行它。无论如何，更改选项的步骤如下。

要进行更改：

  1. 转到 Zeppelin 站点的右上角，那里应该显示一个用户名。点击它。
  2. Interpreter在菜单中选择。
  3. 搜索spark解释器。
  4. 点击edit右上角的。
  5. 取消选中zeppelin.spark.enableSupportedVersionCheck。
  6. 一直向下滚动并点击Save。

我希望这个对你有用！

推荐阅读