时间戳

首页 > 解决方案 > 如何解决pyspark安装问题

python - 如何解决pyspark安装问题

问题描述

我已尽我所能将 Spark 安装到我的 MAC 上。我想使用 Jpyter Notebook 来使用 Spark，但我发现安装它令人沮丧。

我试过的：

  1. brew install apache-spark--> 不工作

    Error: An exception occurred within a child process:
DownloadError: Failed to download resource "apache-spark"
Download failed: Couldn't determine mirror, try again later.

  2. 从在线安装软件包并解压缩到我的根目录并使用以下 export SPARK_HOME=/Users/myname/spark-2.4.2-bin-hadoop2.7 export PATH=$SPARK_HOME/bin:$PATH

当我在 bash 中运行 pyspark 时，以下内容：

    Error executing Jupyter command'/Users/myname/anaconda3/bin/find_spark_home.py': 
   [Errno 2] No such file or directory/Users/myname/anaconda3/bin/pyspark: line 24: /bin/load-spark-env.sh: No such file or directory/Users/myname/anaconda3/bin/pyspark: line 77: /bin/spark-submit: No such file or directory

  /Users/myname/anaconda3/bin/pyspark: line 77: exec: /bin/spark-submit: cannot execute: No such file or directory

这是否意味着我的 SPARK_HOME 设置不起作用？我应该如何在我的 bash 中输入“pyspark”以通过 jupyter notebook 运行 pyspark？

我还更新了 nano .bash_profile 中的信息如下：

export SPARK_PATH=~/spark-2.4.2-bin-hadoop2.7
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

export PYSPARK_PYTHON=python3
alias snotebook='$SPARK_PATH/bin/pyspark --master local[2]'

我的 Python 3 在 anaconda 环境中，有什么建议吗？

标签： pythonapache-sparkpyspark

解决方案

推荐阅读