deeplearning4j - DL4J/ND4J:INDArray 实例可以重复使用吗?
问题描述
我有一个模型可以在不适合 RAM 的大型数据集上进行训练。所以,基本上我的计划是对数据集进行切片,为每个块创建一个DataSet
带有输入向量和相关标签的实例。例如,如果我有 1M 输入向量/标签,我会将它们分成 10 个块,每个块有 100K 条记录。
然后我将一个块放入 2 个INDArray
对象(用于输入和标签),创建一个DataSet
并model.fit()
使用该数据集调用,对每个块重复此过程并重复整个过程,直到模型的分数达到某个值。我的问题是:
1. 我是否正确理解了流程?
2.INDArray
实例可以复用吗?将它们分配一次然后一遍又一遍地用数据集块填充它们是否正确?
解决方案
你不必做任何这些。Workspaces 已经解决了您的分配问题: http ://deeplearning4j.org/workspaces
只需使用标准的 datavec -> recordreaderdatasetiterator -> dataset 模式。这已经为您处理了小批量。
推荐阅读
- java - SQLite 不返回表中的所有记录 - SQLite-JDB
- r - 我的数据集中有一列 eventDate (2000-01-01T00:06:00)。如何将它们拆分为日期和时间?
- r - R - 基于重复虚拟变量调整起始变量,带有 lag() - 每行多次测量
- python - Caml Query 在 sharepoint Online 上无法使用 Python
- android - Nativescript 6.5.2 Android apk“解析包时出现问题”
- javascript - *ngFor 带有多个图像标签 - 如何知道所有图像 src 何时加载
- php - 如何使用codeigniter中的会话ID从表中检索数据
- c++ - 如何在 gdb 中检查 C++ 向量中的元素?
- java - 守护进程的Android Studio问题
- python - 如何在具有多层的python(colab)中读取文件?