node.js - 如何在不耗尽内存的情况下将多页 API 数据保存到 S3 文件？
问题描述
我有一个在 AWS t2.xlarge 服务器上运行的 Node.js 应用程序，它从 API 中提取许多数据页（即特定日期的销售订单数据），然后将该数据保存到 S3 上的平面文件中。有时有成千上万页的数据，在服务完成从 API 中提取所有数据之前，它会耗尽内存并崩溃。
我是否应该一次拉一页，将该数据保存到 S3，然后附加下一页？我什至可以追加到现有的 S3 文件吗？
解决方案
推荐阅读
- objective-c - 没有在 OCMStub/OCMExpect/OCMReject 中记录调用
- android-jetpack-compose - Jetpack Compose Text 组件中的等宽数字
- php - 从 PHP 7.4 / Ubuntu 20 连接 SQL Server
- html - 如何分割背景使用线性渐变从左到右变成 3 种纯色？
- webpack - 是否可以在 webpack 项目中渲染树枝文件？
- opengl - GLSL对非纹理矩形的模糊效果
- docker - 我们应该在 Dockerfiles 中指定基础 docker 镜像的版本吗？
- next.js - 新鲜的 NextJS 应用程序在任何更改之前抛出错误
- aggregate - QGIS中识别重叠特征的工具？
- java - 如何在与 C# 匹配的 Java 1.8 中进行无符号整数左移位操作？