amazon-web-services - 将文件从 AWS Kinesis Firehose 传送到特定 S3 文件夹

Question

问题背景：
我有一个 AWS Kinesis Firehose 传输流设置。
我也有一个 S3 存储桶设置。
在我的 S3 存储桶中，我有一个文件夹，我们称之为：“folderX/”。

目前，它只是将其发送到标有“2021/”的预制文件夹，因为默认方案是发送到与当前日期/时间对应的文件夹。

问题： 我希望我的 Firehose 传输流将文件发送到该特定文件夹。我怎么做？

标签： amazon-web-servicesamazon-s3aws-glueamazon-kinesis-firehose

Answer 1

Backup S3 bucket prefix在 S3 目标配置中是设置前缀的位置。

从Backup S3 存储桶前缀的文档中：

要为 Amazon S3 对象使用默认前缀，请将此选项留空。Kinesis Data Firehose 自动为交付的 Amazon S3 对象使用“YYYY/MM/dd/HH”UTC 时间格式的前缀。您可以添加到此前缀的开头

再举几个例子：

为了得到folderX/2021/3/17我们可以使用folderX/!{timestamp:YYYY}/!{timestamp:MM}/!{timestamp:dd}/

为了得到folderX/year=2021/month=3/day=17/hour=5/我们可以使用folderX/year=!{timestamp:YYYY}/month=!{timestamp:MM}/day=!{timestamp:dd}/hour=!{timestamp:HH}/