时间戳

首页 > 解决方案 > 如何在不使用的情况下将模块安装到特定的 Jupyter 内核！还是终端？

python - 如何在不使用的情况下将模块安装到特定的 Jupyter 内核！还是终端？

问题描述

我在 EMR 上使用 JupyterHub，Pandas 未安装在 PySpark 或 PySpark3 内核上。这些内核也不允许使用!. 我试图安装使用

import pip
pip.main(['install','pandas])

但这引发了ValueError: I/O operation on closed file.

当我打开终端内核时，pandas 已经安装好了。

如果有其他方法可以安装到特定内核，请告诉我。

标签： pythonjupyter-notebookamazon-emr

解决方案

面临类似的问题，这解决了我的情况

#bootstrap
sudo python3 -m pip install <packages>

# set in $SPARK_HOME/conf/spark-env.sh or use the config.json template for EMR
export PYSPARK_DRIVER_PYTHON=python3
export PYSPARK_PYTHON=python3

参考： AWS EMR - ModuleNotFoundError：没有名为“pyarrow”的模块

推荐阅读