时间戳

首页 > 解决方案 > 如何使用张量流数据集 (TDFS) 作为张量流模型的输入？

python - 如何使用张量流数据集 (TDFS) 作为张量流模型的输入？

问题描述

我目前正在使用 ImageNet 数据集，您可能知道它非常大。

我已将其从 .tar 文件预处理为 tfrecord 文件。

我目前正在使用以下方式加载它：

train, val = tfds.load(*)

所以我有两个 tfd：train 和 val。

然后我使用以下方法调整它们：

def resize_with_crop(image, label):
    i = image
    i = tf.cast(i, tf.float32)
    i = tf.image.resize_with_crop_or_pad(i, 224, 224)
    i = tf.keras.applications.mobilenet_v2.preprocess_input(i)
    return (i, label)

# Preprocess the images
train = train.map(resize_with_crop)
val = val.map(resize_with_crop)

我从这里开始关注。

在我尝试拟合我的模型后，d = model.fit(train, validation_data=val,...)第一层具有形状（无、224、224、3），我收到错误：ValueError: Input 0 of layer conv2d is incompatible with the layer: expected ndim=4, found ndim=3

这个问题（我相信）是因为一次给模型一个图像（所以它没有 4d 形状。我无法将数据集保存在内存中以将其重组为 (None, 224, 224, 3) 为我想要一个 cifar-10 数据集）。

我的问题是，现在图像是 (224, 224, 3) 的形式，我如何将它们与期望 4d 形状但我无法在内存中重塑数据集的 tensorflow 模型一起使用？

或者有没有办法调整 tfds 形状，使其作为模型的输入？

我不确定我是否完全了解 tfds，这就是我遇到此问题的原因。此外，我确信标签会导致问题（因为它们是整数），那么如何将 tfds 标签重构为模型的热编码？

标签： pythontensorflowmachine-learningkerasimagenet

解决方案

tfds.load返回一个tf.data.Dataset对象。因此，您可以使用 tensorflow 数据集来处理返回的值。

输入的 4D 数据大多预计为(batch_size, Hight, Width, Channel). 因此，如果您的图像形状为 (224,224,3)，您需要对它们进行批处理以添加批处理维度以与模型期望的兼容。

对于批处理数据集，只需使用.batch(batch_size)：

train = train.batch(32)
val = val.batch(32)

推荐阅读