java - 用于大容量数据的数据摄取管道

Question

我有一个要求，我必须执行以下步骤。

1. 查找数据被修改的用户列表
2. 现在每个用户数据都可以并行运行。

子步骤是：

1. 从 mongo db 获取用户修改后的数据（可以是多行）
2. 通过更新这些记录的状态将它们锁定为正在处理

3.改造他们。每行将展平为 2000 条记录。

4. 发布到卡夫卡
5. 将状态更新为在 mongo db 中发布
6. 并做一些后处理 api 调用。

用户在 mongo db 中可以拥有的最多记录数是 64，而 128,000 条消息将依次发送到 Kafka。

任何人都可以建议使用弹簧构造更好的设计方法。春季批次适合我的用例吗？

标签： javaspringspring-batchspring-integration