时间戳

首页 > 解决方案 > 如何使用 Spring Data Cassandra 从 cassandra 数据库中读取超过百万条记录并使用 Spring Batch 将其写入文件？

java - 如何使用 Spring Data Cassandra 从 cassandra 数据库中读取超过百万条记录并使用 Spring Batch 将其写入文件？

问题描述

我需要使用 Spring Data Cassandra 从 Cassandra 数据库中读取超过一百万条记录，并使用 Spring Batch 将其写入文件。现在我正在使用 Spring data Cassandra 的分页功能，但它似乎正在执行select * from table然后过滤记录。这可能不是一个好的选择，因为该表将有超过一百万条记录，并且一次将它们全部加载到内存中会很糟糕。

我还需要将它与 Spring Batch 集成，以便我能够将每条记录正确地放入一个文件中。我正在寻找一种从 Cassandra 读取数据并将其分块保存在文件中的方法。最好的方法是什么？

这是我用来使用分页从 Cassandra 获取记录的代码：

public void startJob() {
    Pageable pageable = PageRequest.of(0, pageSize);
    Slice<FLProductATPEntity> slice = repository.findAll(pageable);
    List<FLProductATPEntity> entityList;
    if (slice.hasContent()) {
        entityList = slice.getContent();
        entityList.forEach(entity -> log.info("Entity: {}", entity));           
    }
    while (slice.hasNext()) {
        slice = repository.findAll(slice.nextPageable());
        entityList = slice.getContent();
        entityList.forEach(entity -> log.info("Entity: {}", entity));
    }
}

标签： javaspring-bootcassandraspring-batchspring-data-cassandra

解决方案

我正在寻找一种从 Cassandra 读取数据并将其分块保存在文件中的方法

Spring Batch 提供了RepositoryItemReader，您可以将其与您的 cassandra 一起PagingAndSortingRepository用作委托。因此，您可以使用此阅读器创建面向块的步骤，并将FlatFileItemWriter数据写入文件。

推荐阅读