apache-spark - 初始作业未接受 AWS EMR 中的任何资源

Question

我在 AWS 中有一个 EMR 集群。

我正在构建一个 RStudio 服务器来使用该集群。

我能够spark.sql("show tables").show从运行 RStudio 的服务器获取 spark-shell 并执行并查看 HDFS 中的表。

但是，如果我执行 spark.sql("select * from ny_taxi_hdfs limit 10").show它会失败并出现错误。初始作业未接受任何资源。

如果我从主人那里做同样的事情，它工作正常。

它看起来确实在使用纱线“（master = yarn，app id = application_1568817071939_0034）”

甚至不知道在哪里看。

标签： apache-spark

Answer 1

防火墙/安全组。一旦我打开它，一切正常。我讨厌当我问一个问题并在一天后回答它时。