首页 > 解决方案 > 如何读取多个大文件(400~mb)更改为自定义格式并写入单个文件

问题描述

我目前正在编写一个应用程序,该应用程序从多个输入文件中获取数据,每个文件大小为 400 mb,并将数据转换为其他应用程序所需的自定义格式并将其写入单个文件。我预计在此过程之后输出文件的大小约为 10 GB。如何在不使用 JAVA 和 Spring 溢出内存的情况下有效地做到这一点?

对于这个过程,只是转换为自定义格式,所以最好不要使用太多内存来存储整个文件。此外,是否可以在不将文件保存在内存中的情况下附加到 java 中的输出文件,因为它的总大小必然约为 10 GB。

编辑:添加了更多信息

标签: javaspringamazon-web-services

解决方案


推荐阅读