首页 > 解决方案 > 使用 tensorflow 构建语言模型,数据集形状问题

问题描述

我正在尝试建立一个翻译模型,所以我得到一个文本作为输入,我将他编码为一个整数列表(编码的类型并不重要)。到目前为止一切都很好。假设这是我到目前为止所拥有的:

<class 'list'>: [1645, 3, 205, 753, 753, 1332, 18, 7, 7, 24]

现在我想做这行:

ds = tf.data.Dataset.from_tensors(encoded_txt)

ds = ds.batch(32)

(顺便说一句,为什么我们需要第一行,只是为了能够做第二行?)

但从这行我得到:

形状=(?,32)

我不明白为什么?我有 32 和 10 个数字的批量大小,为什么不是 (1,32) (带有填充或其他东西)???

这在代码中影响了我,我真的需要了解如何处理这个问题。

顺便说一句,只是重塑不起作用:(

谢谢!

标签: tensorflow

解决方案


推荐阅读