aws-glue - 是否可以通过传递给 from_catalog 的 groupFiles 以编程方式创建动态框架？

Question

我在 aws 论坛上发布了同样的问题，但鉴于从那里获得答案的糟糕体验，我在这里试试运气。

我有一个正在创建表格的爬虫和一个从该表格创建动态框架的粘合作业。我看到该页面https://docs.aws.amazon.com/glue/latest/dg/grouping-input-files.html提到 groupFiles 可以在表属性中指定或作为参数传递给 create_dynamic_frame.from_options 如果直接读取从s3。

此架构蓝图在我们的生产工作负载中的许多地方都使用过，因此我正在寻找上述替代方案。我想知道我是否可以将相同的 groupFiles:"inPartition" 属性传递给 create_dynamic_frame.from_catalog 的 Additional_options 属性，它是否可以工作？

aws 文档对此含糊不清，我在任何地方都看不到有人这样做的例子。

编辑： AWS 文档暗示这是可能的，但是文档页面相互链接的方式并不能完整或明确地描述它们的功能。因此问题。

标签： aws-glueaws-glue-data-catalog

Answer 1

additional_options不幸的是，没有真正记录在案。您必须直接询问 AWS Support。我前段时间联系了他们，如果他们可以使用您可以放入 additional_options 的所有可能值更新他们的文档，他们说他们会努力解决这个问题。