时间戳

首页 > 解决方案 > sparkmagic 可以在 ipython 之外使用吗？

pyspark - sparkmagic 可以在 ipython 之外使用吗？

问题描述

我正在使用带有 sparkmagic 扩展的 jupyter 笔记本，但我只能通过创建一个pyspark kernel. 冲突是我不能在 pyspark 内核中使用 py3 环境（一些安装的 python 包），或者我不能在python3 kernel.

在此处输入图像描述

我不知道如何在 sparkmagic 中引入包，那么我可以使用在 py3 中由 sparkmagic 实际实现的 pyspark 吗？还是有其他意见？

标签： pyspark

解决方案

内核PySpark和默认内核IPython都可以与 pyspark 上的 python3 解释器一起使用。可以在 中指定~/.sparkmagic/config.json。这是标准的spark 配置，将被传递sparkmagic给livy在 spark 主节点上运行的服务器。

  "session_configs": {
    "conf": {
      "spark.pyspark.python":"python3"
     }
   }

spark.pyspark.python Python 二进制可执行文件，用于驱动程序和执行程序中的 PySpark。

python3在这种情况下，可作为PATHspark 集群中每个节点的命令使用。您也可以将其安装到每个节点上的自定义目录中并指定完整路径。"spark.pyspark.python":"/Users/hadoop/python3.8/bin/python"

所有 spark conf 选项都可以这样传递。

Thera 有两种导入方式tensorflow：

  • 通过安装在所有火花机（主人和工人）上python3 -m pip install tensorflow
  • zip，上传并通过spark.submit.pyFiles设置通过sparkmagic传递远程路径。接受或主节点文件系统上的路径（不是您机器上的路径s3）hdfs

查看关于的答案--py-files

推荐阅读