amazon-web-services - 如何查看 AWS Glue Spark UI

Question

在我的 Glue 作业中，我启用了 Spark UI 并指定了 Spark UI 工作所需的所有必要细节（s3 相关等）。
如何查看我的 Glue 作业的 DAG/Spark UI？

标签： amazon-web-servicespysparkaws-gluedirected-acyclic-graphsspark-ui

Answer 1

您需要设置一个可以托管历史服务器的 ec2 实例。

以下文档包含指向您可以使用的 CloudFormation 模板的链接。 https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html

您可以通过 ec2 实例访问历史服务器（默认为 18080）。您需要适当地配置网络和端口。

编辑 - 还有一个选项可以在本地设置 SparkUI。这需要从 aws-glue-samples repo 下载 docker 映像并在那里设置 AWS 凭证和 s3 位置。此服务器使用胶水作业生成的文件。这些文件大约 4MB 大。