时间戳

首页 > 解决方案 > 尝试为 PySpark 导入 Java 8 JDK，但 PySpark 仍然不允许我开始会话

java - 尝试为 PySpark 导入 Java 8 JDK，但 PySpark 仍然不允许我开始会话

问题描述

好的，在我继续之前，这是我的基本信息：

MacBook Pro：OS X 10.14.2
Python 版本：3.6.7
Java JDK：V8.u201

我正在尝试在我的计算机上安装 Apache Spark Python API (PySpark)。我做了一个康达安装：conda install -c conda-forge pyspark

似乎模块本身已正确下载，因为我可以导入它并从中调用方法。但是，打开交互式 shellmyuser$ pyspark会出现错误：

No Java runtime present, requesting install.

好没问题。我去 Java 的下载页面获取了当前的 JDK，为了让它运行，然后在 Safari 上下载了它。Chrome 显然不支持某些插件才能正常工作（尽管最初我确实尝试使用 Chrome 安装它）。仍然没有工作。

好的，我刚决定开始尝试使用它。

from pyspark.sql import SparkSession它似乎正确地导入了模块，因为它自动识别 SparkSession 的方法。然而，

spark = SparkSession.builder.getOrCreate()给出了错误：

Exception: Java gateway process exited before sending its port number

重新安装 JDK 似乎无法解决问题，现在我遇到了一个似乎无法正常工作的模块，因为我没有看到 Java 的问题。关于如何解决这个问题的任何想法？任何和所有的帮助表示赞赏。

标签： javapythonapache-sparkjava-8pyspark

解决方案

spark 2.4 出现了这个问题。请尝试火花2.3。

推荐阅读