python - 高效访问 mxnet 中的任意 NDArray 批次

Question

拟合诸如 Resnet 和 VGG 之类的卷积网络受益于 ImageRecordIter python 类，它允许从存储在 RecordIO .rec 文件中的大量 RGB 图像中有效地加载批次，

有谁知道大型任意输入 2D 或 3D 矩阵的等效设施（对于 2D，行 = 项目和列 = 特征，+ 3D 通道）？

NDArrayIter 需要将整个数据集加载到内存中，这在我的情况下是要避免的（>40Gb 数据文件）。CSVIter 不允许直接改组，并且仅适用于 2D 矩阵。

标签： pythonpython-2.7mxnet

Answer 1

您可以将每个数据样本保存为单独的文件，并DataSet按照参考代码ImageFolderDataset实现一个非常简单的自定义类