时间戳

首页 > 解决方案 > Spring Batch - MongoItemReader 未读取所有记录

spring - Spring Batch - MongoItemReader 未读取所有记录

问题描述

我创建了一个 Spring Batch 作业，它从 MongoDB 读取订单并进行休息调用以上传它们。但是，即使 MongoItemReader 未读取所有记录，批处理作业也会自动完成。

我在 Orders 集合上维护一个字段 batchProcessed:boolean。MongoItemReader 读取 {batchProcessed:{$ne:true}} 的记录，因为我需要多次运行批处理作业但不一次又一次地处理相同的文档。

在我的 OrderWriter 中，我将 batchProcessed 设置为 true。

@Bean
@StepScope
public MongoItemReader<Order> orderReader() {
MongoItemReader<Order> reader = new MongoItemReader<>();
reader.setTemplate(mongoTempate);
HashMap<String,Sort.Direction> sortMap = new HashMap<>();
sortMap.put("_id",Direction.ASC);
reader.setSort(sortMap);
reader.setTargetType(Order.class);
reader.setQuery("{batchProcessed:{$ne:true}}");
return reader;
}

@Bean
public Step uploadOrdersStep(OrderItemProcessor processor)  {
return stepBuilderFactory.get("step1").<Order, Order>chunk(1)
.reader(orderReader()).processor(processor).writer(orderWriter).build();
}

@Bean
public Job orderUploadBatchJob(JobBuilderFactory factory, OrderItemProcessor processor) {
return factory.get("uploadOrder").flow(uploadOrdersStep(processor)).end().build();
}

标签： springmongodbspring-bootspring-batch

解决方案

这MongoItemReader是一个分页项目阅读器。当读取页面中的项目并更改查询可能返回的项目（即在查询的“where”子句中使用的字段）时，分页逻辑可能会丢失并且可能会跳过某些项目。JPA 分页项目阅读器存在类似问题，此处详细说明：Spring batch jpaPagingItemReader 为什么不读取某些行？

解决此问题的常用技术是使用基于游标的读取器、使用临时表/集合、使用分区步骤和每页分区等。

推荐阅读