时间戳

首页 > 解决方案 > tensorflow CNN 模型的 model.evaluate 和 model.predict 之间的准确性差异巨大

python - tensorflow CNN 模型的 model.evaluate 和 model.predict 之间的准确性差异巨大

问题描述

我将 ImageDataGenerator(validation_split).flow_from_directory(subset) 用于我的训练和验证集。所以训练和验证数据有自己的生成器。

训练完数据后，我在验证生成器上运行 model.evaluate() 并获得了大约 75% 的准确率。但是，当我在同一个验证生成器上运行 model.predict() 时，准确度下降到 1%。

该模型是根据分类交叉熵损失和准确度指标编译的多类 CNN，默认为分类准确度。# 编辑：无论如何更改为分类准确度。

# Compile

learning_rate = tf.keras.optimizers.schedules.PolynomialDecay(initial_learning_rate=initial_lr,
                                                              decay_steps=steps,
                                                              end_learning_rate=end_lr)

model.compile(optimizer=tf.keras.optimizers.RMSprop(learning_rate),
              loss='categorical_crossentropy',
              metrics=['categorical_accuracy'])

# Validation set evaluation

val_loss, val_accuracy = model.evaluate(val_generator,
                                        steps=int(val_size/bs)+1)
print('Accuracy: {}'.format(val_accuracy))

# Validation set predict

y_val = val_generator.classes

pred = model.predict(val_generator,
                     verbose=1
                     steps=int(val_size/bs)+1)

accuracy_TTA = np.mean(np.equal(y_val, np.argmax(pred, axis=-1)))
print('Accuracy: {}'.format(accuracy_TTA))

标签： pythontensorflowmachine-learningkerasdeep-learning

解决方案

来自 model.evaluate 和 model.predict 的不同精度值的问题似乎可以通过创建 ImageDataGenerator() 的单独实例但具有相同的种子来解决。

此外，有时在训练 KeyInterrupts 或加载检查点期间，应重新初始化生成器实例，因为可能会出现问题。

推荐阅读