amazon-web-services - 在 AWS EMR 上运行时触发作业挂起

Question

我在 AWS EMR 上运行了一个非常简单的应用程序，当我完成集群构建后，添加了步骤。我发现应用程序挂在收集步骤上。有没有人遇到过同样的问题？

从 pyspark 导入 SparkContext

if __name__ == "__main__":

    sc = SparkContext(appName='Test')

    text_file = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8])
    counts = text_file.map(lambda word: word+1)
    print(counts.collect())
    sc.stop()

EMR 显示：

为什么它一直在收集步骤等待？

标签： amazon-web-servicesapache-sparkpysparkamazon-emr