amazon-s3 - 我可以在交付到 S3 之前在 Kinesis Firehose 中自定义分区吗？

Question

我有一个 Firehose 流，旨在从不同来源和不同事件类型中摄取数百万个事件。流应将所有数据作为原始\未更改数据的存储交付到一个 S3 存储桶。

我正在考虑根据嵌入在事件消息中的元数据（如事件源、事件类型和事件日期）在 S3 中对这些数据进行分区。

但是，Firehose 遵循基于记录到达时间的默认分区。是否可以自定义此分区行为以满足我的需求？

更新：已接受的答案已更新为新答案表明该功能于 2021 年 9 月可用

标签： amazon-s3amazon-kinesis-firehose

Answer 1

自 2021 年 9 月 1 日起，AWS Kinesis Firehose 支持此功能。在此处阅读公告博客文章。

从文档中：

您可以使用 Key 和 Value 字段来指定要用作动态分区键和 jq 查询的数据记录参数以生成动态分区键值。...

从 UI 看它是这样的：