首页 > 解决方案 > Kinesis KCL 检查点

问题描述

我正在开发一个 Stream 应用程序,我们从 Kinesis 流中读取数据并将其推送到数据库。我们这里涉及到两个应用程序(不同的 docker 容器)。一个是触发另一个工作应用程序的中央应用程序。

Worker 应用程序负责使用 KCL 2.x 库从 Kinesis 流中读取数据,并将所有这些数据推送到中央应用程序,中央应用程序对其执行一些操作,然后插入到数据库中。

所以我的问题是我们如何管理检查点,我只想在数据成功摄取到作为中央应用程序一部分的数据库时进行检查点。我不希望工人处理检查点。

如果我使用 AWS SDK 手动更新 dynamo DB 表会发生什么,因为 KCL 也只更新该表中的序列号。在 DynamoDB 表中手动提交序列号会不会有任何其他后果?

标签: javastreamamazon-kinesisamazon-kcl

解决方案


推荐阅读