首页 > 解决方案 > 什么 Java 库可以在内存中缓冲传入的数据,然后再写入目标?

问题描述

我正在寻找一个 Java 库来帮助缓冲内存中的对象,然后再将它们写到目的地。

示例:从消息队列中提取记录并将它们保存在内存中,直到总记录大小等于 100MB 或 15 分钟过去。达到阈值后,对这些记录执行操作,例如将它们写入文件或进行 API 调用以将数据上传到 AWS S3 存储桶。

此类功能几乎与 AWS Firehose 相同(假设您要写入 S3 存储桶)。不幸的是,我无法使用 AWS 并寻找替代方案。实施自定义解决方案听起来并不难,但我尽量避免重新发明轮子。

标签: javabufferamazon-kinesis-firehose

解决方案


推荐阅读