amazon-web-services - 设计分区键以确保特定类型的数据进入 Kinesis 中的同一个分片

Question

我是 AWS Kinesis 数据流的新手。在我的用例中，我想设置一个带有 2 个分片的 Kinesis 数据流，其中一个分片我想放置与学生相关的数据，而在另一个分片中，我想放置与教师相关的数据.

在这里，我的问题是如何设计一个分区键来确保与学生和教师相关的数据不会落在 Kinesis 数据流的同一个分片中？

标签： amazon-web-servicesamazon-kinesis

Answer 1

每个分片将被赋予固定范围的分区键。您可以使用describe-stream获得此范围。

例如，对于第一个分片：

                "HashKeyRange": {
                    "StartingHashKey": "0",
                    "EndingHashKey": "113427455640312821154458202477256070484"
                },

因此，在开始流式传输之前，您可以以编程方式检查范围并从相应范围中选择键。

有了这个，当您明确指定它们应该去哪个分片时，您可以使用ExplicitHashKey 。PutRecords