java - 如何读取多个大文件(400~mb)更改为自定义格式并写入单个文件
问题描述
我目前正在编写一个应用程序,该应用程序从多个输入文件中获取数据,每个文件大小为 400 mb,并将数据转换为其他应用程序所需的自定义格式并将其写入单个文件。我预计在此过程之后输出文件的大小约为 10 GB。如何在不使用 JAVA 和 Spring 溢出内存的情况下有效地做到这一点?
对于这个过程,只是转换为自定义格式,所以最好不要使用太多内存来存储整个文件。此外,是否可以在不将文件保存在内存中的情况下附加到 java 中的输出文件,因为它的总大小必然约为 10 GB。
编辑:添加了更多信息
解决方案
推荐阅读
- firebase - 运行失败:在合并时部署到 Firebase 托管 - 主
- javascript - 阻止输入类型 date null 时更改边框颜色和消息 html 验证
- three.js - 在 React-Three-Fiber 中移动平面顶点位置的正确方法
- oauth-2.0 - 使用带有 OAuth2.0 客户端凭据的 Azure EWS 发送电子邮件
- javascript - 如何将多个类名添加到 nextjs 元素
- google-sheets - 将html表格行提取到谷歌表格
- python - Python`urllib3`:突然“证书验证失败:证书已过期”错误
- python - 截至 2021 年,Google Colab 使用的是哪个 Python 版本?
- c# - 发布操作在控制器中不起作用但在另一个控制器中起作用
- sql - 如何在特定值更改 SQL/Hive 后播种/插入特定值