时间戳

首页 > 解决方案 > 在 Dataset.shuffle() 之后批量部分随机元素

tensorflow - 在 Dataset.shuffle() 之后批量部分随机元素

问题描述

我在 TF2.1 中使用 tf.data.Dataset 和 tf.keras 对数据集进行训练。但是我看到了奇怪的行为，即生成的批次并没有像我预期的那样完全随机显示。我的意思是，即使我的数据集有 4 个类，我通常也会在一批中只看到 2 个类的元素。我的代码如下：

def process_train_sample(file_path):
  sp = tf.strings.regex_replace(file_path, train_data_dir, '')
  cls = tf.math.argmax(tf.cast(tf.math.equal(tf.strings.split(sp, os.path.sep)[0],['A','B','C','D']), tf.int64))

  img = tf.io.read_file(file_path)
  img = tf.image.decode_jpeg(img, channels=3)  # RGB
  img = tf.image.resize(img, (224, 224))
  img = tf.cast(img, tf.float32)
  img = img - np.array([123.68, 116.779, 103.939])
  img = img / 255.0
  cls = tf.expand_dims(cls, 0)
  return img, cls

train_data_list = glob.glob(os.path.join(train_data_dir, '**', '*.jpg'), recursive=True)
train_data_list = tf.data.Dataset.from_tensor_slices(train_data_list)
train_ds = train_data_list.map(process_train_sample, num_parallel_calls=tf.data.experimental.AUTOTUNE)
train_ds = train_ds.shuffle(10000)
train_ds = train_ds.batch(batch_size)

for img,  cls in train_ds.take(10):
  print('img: ', img.numpy().shape,  'cls: ', cls.numpy())

model.compile(loss='categorical_crossentropy',  
      optimizer=optimizers.SGD(lr=0.0001, momentum=0.9),
      metrics=['categorical_accuracy', 'categorical_crossentropy'])
model.fit(train_ds, epochs=50)

当我在一个有 4 个类的数据集上进行训练时——A、B、C、D，我发现训练精度并没有稳定地增加，而是上下波动。然后我通过在for循环中逐批显示标签来检查我的数据输入管道，发现每个批次只包含来自2个类的元素，而不是4个。似乎数据集没有像我预期的那样被打乱，这可能会导致准确性不会稳步增加。但我看不出我的代码有什么问题。

标签： tensorflowkerastensorflow2.0tensorflow-datasets

解决方案

在.shuffle(10 000)中，10 000是缓冲区大小，这意味着它将从前 10 000 张图像中采样。由于您有大约 30 000 张图像，这会导致第一批中的图像仅来自第一类和第二类。当您继续训练时，您将从 (1,2,3) 类开始采样，然后仅 (2,3)，然后是 (2,3,4)，然后是 (3,4)，然后是 (3,4, 1)，然后是 (4,1)，然后是 (4,1,2)，然后是 (1,2)，然后是 (1,2,3)，以此类推。如果您有内存，请尝试将 shuffle 缓冲区大小设置为 30 000，或者如果您没有，请先打乱您的路径列表，然后使用大批量大小。

推荐阅读