amazon-web-services - 如何将 Kinesis 数据流合并为一个以进行 Kinesis 数据分析？

Question

我有多个 AWS kinesis 数据流/firehose，其中包含 CSV 格式的结构化数据。我需要使用 kinesis 数据分析对这些数据进行分析。但是如何将多个流合并为一个？因为 Kinesis 数据分析仅从一个流中获取数据。数据流可以存在于不同的区域。

问题：如何将 Kinesis 数据流合并为一个以进行 Kinesis 数据分析？

标签： amazon-web-servicesamazon-kinesisamazon-kinesis-firehoseamazon-kinesis-analytics

Answer 1

我不知道是否有任何来自 AWS 的“现成”产品可以用来执行此操作，但如果您不介意编写一点代码，这非常简单。

1. 创建一个将成为“合并流”的运动流（两个源流的事件都将放在此处。）
2. 使用您选择的编程语言创建一个 lambda，并将触发器设置为您要合并的 kinesis 流。
3. 对 lambda 进行编码以将其接收到的所有事件写入步骤 1 中创建的流。

生成的 kinesis 流应该包含您正在寻找的合并数据，并且可以使用它来进行分析。