python - 组合许多 numpy 数组的最节省内存的方法
问题描述
我有大约 200 个保存为文件的 numpy 数组,我想将它们组合成一个大数组。目前我正在通过使用循环并单独连接每个循环来做到这一点。但我听说这是内存效率低下,因为连接也会复制
如果您事先知道需要多少个数组,则可以改为从预先分配的一个大数组开始,并让每个小数组成为大数组的视图(例如通过切片获得)。
所以我想知道是否应该单独加载每个numpy数组,计算所有numpy数组的行大小,创建一个新行大小的新numpy数组,然后单独复制每个较小的numpy数组,然后删除那个numpy数组. 还是我没有考虑到这方面的某些方面?
解决方案
推荐阅读
- javascript - 我需要以表格格式打印数组并能够添加具有值的新行
- c# - C# 变量范围问题和基于文本的 RPG 尝试
- python - 如何使用 pandas 从 csv 中过滤掉非英语数据
- node.js - 使用 NodeJS 从 slack API 获取用户列表
- java - 更改 JTable 标题高度
- python - 几个成功的批次后 Cuda 内存不足错误
- r - R:plotTree.wBars 中出现错误“找不到对象‘添加’”
- backbone.js - 主干/requirejs 视图奇怪的行为
- php - 如何使用 glob 检查文件夹是否有子文件夹?
- angular - VM Clarity - 无法使用带有 clr-control-error 的自定义验证器