java - Kinesis KCL 检查点
问题描述
我正在开发一个 Stream 应用程序,我们从 Kinesis 流中读取数据并将其推送到数据库。我们这里涉及到两个应用程序(不同的 docker 容器)。一个是触发另一个工作应用程序的中央应用程序。
Worker 应用程序负责使用 KCL 2.x 库从 Kinesis 流中读取数据,并将所有这些数据推送到中央应用程序,中央应用程序对其执行一些操作,然后插入到数据库中。
所以我的问题是我们如何管理检查点,我只想在数据成功摄取到作为中央应用程序一部分的数据库时进行检查点。我不希望工人处理检查点。
如果我使用 AWS SDK 手动更新 dynamo DB 表会发生什么,因为 KCL 也只更新该表中的序列号。在 DynamoDB 表中手动提交序列号会不会有任何其他后果?
解决方案
推荐阅读
- arrays - 如何制作用于过滤阵列的角管
- redis - Wilfly 将会话状态移动到 Redis
- python - Python:以所需格式创建时间序列数据
- android - 意图过滤器操作未打开正确的活动
- html - 使用列表/数据列表输入:删除 Chrome 版本 91 中的下拉箭头
- wordpress - 如何获取 Woocommerce 产品图片库的 HTML(带拇指)并将其添加到钩子之外
- reactjs - 反应添加到图表
- java - spring cloud gateway中如何在运行时调用不同的主机
- flutter - 在动画中为 2 个文本小部件依次创建幻灯片的最佳方法是一个接一个。扑?
- javascript - 开玩笑地模拟特定的配置值