spring-batch - Spring批处理从步骤无限执行导致分区作业等待更新状态

问题描述

我有 spring-batch 和 spring boot 应用程序来处理 60-70 百万数据。应用程序是为使用弹簧批处理分区而构建的。我需要从文件中读取客户 ID，然后从 redis 和 oarcle DB 读取一些参考数据，并应用一些业务逻辑并写入 PG DB。应用程序按预期工作，我们所有的系统测试都已完成。但是当我们进行 PT 测试时，我们看到很少有从属步骤挂在随机位置（与文件或行号不一致）。Step_execution 表版本保持递增但没有数据处理。我已经尝试了 50-1000 个分区和 5-2500 万个数据。只有 100 万个 36 个分区，我才能获得所有从属和分区步骤的完成状态。挂起一些从属步骤的原因可能是什么。

标签： spring-batch

spring-batch - Spring批处理从步骤无限执行导致分区作业等待更新状态

问题描述

解决方案

推荐阅读