时间戳

首页 > 解决方案 > 如何在 HDP 中的 zeppelin-spark2 中将库安装到 python

python - 如何在 HDP 中的 zeppelin-spark2 中将库安装到 python

问题描述

我正在使用 HDP 版本：2.6.4

您能否提供有关如何将库安装到 spark2 下的以下 python 目录的分步说明？

sc.version（火花版本）返回

res0: String = 2.2.0.2.6.4.0-91

spark2 解释器名称和值如下

zeppelin.pyspark.python:    /usr/local/Python-3.4.8/bin/python3.4

python版本和当前库是

%spark2.pyspark

import pip
import sys

sorted(["%s==%s" % (i.key, i.version) for i in pip.get_installed_distributions()])

print("--")     
print (sys.version)
print("--")
print(installed_packages_list)

--
3.4.8 (default, May 30 2018, 11:05:04) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-18)]
--
['pip==9.0.1', 'setuptools==28.8.0']

更新1：using pip install [package name]实际上导致两个问题

1）HDP指向python2.6而不是python3.4.8

2) pip3 由于某种原因不存在

因此，我正在考虑安装 miniconda 并将 Zeppelin 指向那里并在 conda 中安装所有软件包以防止 python 2.6 和 3.4.8 之间的冲突

标签： pythonpysparkhortonworks-data-platformapache-zeppelin

解决方案

这对我们来说是痛苦的。有效的解决方法是：

  1. pip使用或相应地从终端安装您需要的 python 包pip3。
  2. 默认情况下zeppelin.pyspark.python，火花解释器上的设置为：python。该 python 无法识别我们使用终端安装的软件包。我们必须更新zeppelin.pyspark.python：/usr/bin/python（python命令的路径，你可以使用命令'which python'来获取它）

现在解释器和 zeppelin 笔记本能够访问我们从终端安装的所有包。

推荐阅读