python - 无法在 AWS EMR Notebook 上通过 pip 安装包

Question

我正在使用连接到 AWS EMR 集群的 Jupyter Notebook。连接到集群所有节点的子网和安全组都能够连接到互联网。但是，当我尝试pip install <package>从附加到 EMR 集群的 Notebook 中进行操作时，我收到以下错误：

WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'NewConnectionError('<pip._vendor.urllib3.connection.HTTPSConnection object at 0x7f6b4c6bd710>: Failed to establish a new connection: [Errno 101] Network is unreachable')': .....

我也尝试向互联网发出 GET 请求r = requests.get('https://www.google.com')，但也没有成功。我无法弄清楚是什么阻止了我从 AWS EMR 上的 Jupyter Notebook 连接到 Internet。

标签： pythonamazon-web-servicespipjupyter-notebookamazon-emr

Answer 1

由于您可以通过集群连接到互联网，因此可能是笔记本本身的安全组而不是集群的问题。

您是使用此处所述的 EMR 笔记本的默认安全组还是分配您自己的安全组？如果是，请确保您有正确的出站规则，尝试添加outbound rules并允许流量