amazon-web-services - Firehose 数据转换 lambda - 从单个运动记录生成多个记录
问题描述
我创建了一个 Kinesis 数据流,并将记录输入到其中,格式如下:
{
"ufo": 5,
"unicorn": 7,
"something else": 9,
}
我正在尝试编写一个转换 lambda,它将转换上面的记录并将三个记录插入 Redshift。Redshift 表架构是这样的:
CREATE TABLE my_table(
timestamp DATETIME,
name TEXT,
count INT
) SORTKEY(timestamp);
所以本质上 - 从单个 Kinesis 记录中,我需要在 Redshift 中生成三行。
转换 lambda 的文档没有解释我想要实现的目标是否可行。我已经尝试在编码之前将所有有效负载包装在数组中,但这会导致 Redshift 端出现处理错误。我还尝试返回具有相同记录 ID 的多条记录 - 这也会导致错误。
解决方案
我遇到了一些文档,其中显示多个 JSON 对象可以存储在由 COPY 命令提供的单个 JSON 文件中。根据文档,文件中可以有多个 JSON 对象,并且 JSON 对象之间只能放置白色字符。
所以我丢弃了这样的对象:
{"timestamp": "2020/07/17 00:00:00", "name": "ufo", "count": 5}
{"timestamp": "2020/07/17 00:00:00", "name": "unicorn", "count": 7}
{"timestamp": "2020/07/17 00:00:00", "name": "something else", "count": 9}
由于 AWS 正在重试失败的记录,因此调试它非常令人困惑 - 我在对象之间添加了新行(这是文档中建议的内容),起初我以为我遇到了错误,但错误是为了重试之前的尝试。
推荐阅读
- go - golang中的关机信号
- postgresql - 在 Postgres 中将字符串列表转换为列名
- kotlin - Kotlin 后备包装器
- javascript - 如何在反应js中滚动到页面的某个部分
- c# - 如何在 EF Core 中添加带有列表和逗号分隔字段的过滤器
- nlp - 如何理解 BertModel 中回报的 hidden_states?(huggingface-transformers)
- variables - 多值 Prometheus 查询 Grafana
- excel - 用户表单中的全局变量值未更新
- c# - 在 SQL Server 表中插入一行时如何自动执行 C#?
- docker - docker-compose:在运行另一个容器之前等待一个容器运行