tensorflow - 如何训练不同维度的数据

Question

我想根据不同的数据集训练模型。数据集由不同维度的数据组成。例如，在 NLP 中，句子的长度不同。为了不浪费计算资源，我不想填充 0 以使它们具有相同的尺寸。我怎么做？

我尝试了多种方法。

1. 对于循环。我的伪代码如下：

model = ...
for dataset in datasets:
    model.fit(dataset)
    gc.collect()

不幸的是，即使使用显式垃圾收集，内存（不是 GPU 内存）也会很快耗尽。

2. 数据集生成器。不幸的是，很难定义形状函数等。

非常感谢！

标签： tensorflowtensorflow2.0tensorflow-datasets