amazon-web-services - EMR 引导失败

Question

我正在尝试在 AWS EMR 中运行以下引导脚本，但它在不提供错误消息的情况下失败。我已经为应用程序设置了 EMR 集群：Spark、Hive、Ganglia 和 Livy。

!/bin/bash

sudo pip-3.6 install -U\matplotlib\pandas\spark-nlp

我使用的是 EMR 版本 6。以前我们只使用“pip”而不是“pip-3.6”，但它仍然出错，因此我们决定尝试使用“pip-3.6”，因为我们假设 EMR 6 具有 python 3.6。

请让我知道这可能有什么问题。

谢谢！

标签： amazon-web-servicesapache-sparkpysparkamazon-emr

Answer 1

您可以尝试在正在运行的 EMR 集群上运行您的脚本，以确保其正常工作。emr6 的 Emr 发行说明建议 python3 是 default 。 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-6x.html

快速检查一下，它似乎与 python3.7 一起出现。这就是您的脚本可能无法正常工作的原因。所以你需要使用 pip3 或 /usr/bin/pip-3.7 （指定完整路径，可能没有为 pip-3.7 设置别名）

因此尝试使用

$ sudo pip3 安装 matplotlib ...

或者

$ sudo python -m pip3 安装 matplotlib ...