amazon-web-services - 在 EMR 集群上引导 Spark 3.0.0

Question

几天前 Spark 3.0.0 发布了。我想使用其中一些功能。EMR 集群上的 Spark 的默认版本现在是 Spark 2.4.5。我专门使用 PySpark。我的问题是：如何在 EMR 集群上安装/引导 Spark 3.0.0？

提前致谢。

标签： amazon-web-servicesinstallationpysparkamazon-emrspark3

Answer 1

您需要等待 Spark 3 在 EMR 上可用。从过去的版本来看，您可能需要 1 到 3 个月的时间