metadata - 将元数据添加到 Kinesis Firehose 推送的 S3 对象
问题描述
我有 Firehose 流将数据推送到 s3,并使用一个小 lambda 处理格式。我希望 S3 中的这些对象在创建时具有一些元数据。
我发现您可以在使用 aws cli 或通过控制台添加它,但我没有找到一种方法来为从 firehose 创建的文件自动添加它。来自 lambda 的格式仅包括 recordId、数据和结果。
我错过了什么吗?或者这是我无法使用 Firehose 自定义的东西?
谢谢 :)
解决方案
Firehose 没有提供开箱即用的选项。但您可以在 Firehose 向 S3 发布新对象时触发事件通知。事件通知可以触发将添加元数据的 lambda。
推荐阅读
- python - 将计数器对象的元素相乘
- ruby-on-rails - 使用 Elm 和 Rails 成功运行项目的最小 CircleCI 2 config.yml
- android - 如果 RecyclerView 在 NestedScrollView 内,findLastVisibleItemPosition 返回错误值
- r - 根据第二个数据框的日期范围计算平均浓度
- python - Python - 手动包装一个方法(具体来说,我问的是 robert kern 的 line-profiler )
- c# - 低负载下与数据库的连接问题(dotnet core)
- json - 如何动态地将数据插入 JSON 文件?
- spring - 在 Spring 中从外部属性文件中读取 JNDI 名称
- ember.js - 有没有办法在 environment.js 中区分 ember 服务和 Ember 构建?
- file - 运行一个脚本,计算文件夹中所有/某些文件中令牌的出现次数并添加结果