首页 > 解决方案 > 将字典列表写入 S3 文件中的单独行

问题描述

我正在使用 Kinesis Firehose 从 Kinesis Stream 读取数据并存储在 s3 json 文件中,每个字符串都写入单独的行:

{"DeviceID":"1000000","DeviceTypeID":2,"DeviceRecordTime":"2020-11-10"}
{"DeviceID":"1000000","DeviceTypeID":2,"DeviceRecordTime":"2020-11-10"}

我尝试使用 Lambda 和 boto3 从 Kinesis Stream 读取数据,将所有记录放入单个列表并使用 put_object 函数将其写入 s3,这就是我得到的原因:

{"_1":[{"DeviceID":"1000000","DeviceTypeID":2,"DeviceRecordTime":"2020-11-10"},{"DeviceID":"1000000","DeviceTypeID":2,"DeviceRecordTime":"2020-11-10"}]}

有什么方法可以使用 Lambda 实现与 Kinesis Firehose 相同的输出,将 json 字符串分隔在不同的行中?

谢谢你的任何提示。

标签: pythonjsonamazon-web-servicesamazon-s3aws-lambda

解决方案


推荐阅读