时间戳

首页 > 解决方案 > aws glue python shell 作业与 spark 作业的最佳用例是什么？

amazon-web-services - aws glue python shell 作业与 spark 作业的最佳用例是什么？

问题描述

一直在使用 aws glue python shell 作业来构建简单的数据 etl 作业，对于 spark 作业，只使用过一次或两次转换为 orc 格式或在 JDBC 数据上执行 spark sql。所以想知道它们每个人的最佳/典型用例是什么？一些文件说 python shell 工作适合简单的工作，而 spark 适合更复杂的工作，对吗？你能分享更多这方面的经验吗？

非常感谢

标签： amazon-web-servicesapache-sparkaws-glue

解决方案

如果您不需要太多计算能力来运行轻型 ETL 工作负载，请使用 AWS Glue Python shell。当您必须水平、垂直或同时扩展两者时，将 AWS Glue 与 Spark 结合使用。

资料来源：aws glue python shell 作业与 spark 作业的最佳用例是什么？

推荐阅读