python - 训练准确率高,但输入总是在 keras DNN 模型中分类为同一类
问题描述
我在 3 个类上使用 Xception 架构和数据增强。我的原始数据集在三个类中的每一个中都有 3 个图像,组织在一个目录中。
# import the necessary packages
from main.cnn.networks.lenet import LeNet
from sklearn.model_selection import train_test_split
from keras.datasets import mnist
from keras.optimizers import SGD
from keras.utils import np_utils
from keras import backend as K
import numpy as np
import argparse
import cv2 as cv
import ssl
from tensorflow import keras
from tensorflow.keras.preprocessing import image_dataset_from_directory
from tensorflow.keras.preprocessing.image import ImageDataGenerator
train_datagen = ImageDataGenerator(
fill_mode='constant',
cval=255.0,
rotation_range=90,
zoom_range=[1.0, 1.3],
rescale=1.0/255.0
)
it = train_datagen.flow_from_directory('training_data/',
target_size=(260, 380),
batch_size=9,
save_to_dir='augmented_data/',
save_format='jpeg'
)
validation_ds = image_dataset_from_directory (
directory='validation_data/',
labels='inferred',
label_mode='categorical',
batch_size=1,
image_size=(380, 260))
# scale data to the range of [0, 1]
def normalize(data, labels):
return data / 255.0, labels
validation_ds = validation_ds.map(normalize)
# initialize the optimize and model
print("[INFO] compiling model...")
model = keras.applications.Xception(weights=None, input_shape=(380, 260, 3), classes=3)
opt = SGD(lr=0.01)
model.compile(loss="categorical_crossentropy", optimizer=opt, metrics=["accuracy"])
print("[INFO] training...")
model.fit(it, steps_per_epoch=1, epochs=100, verbose=1)
# show the accuracy on the testing set
print("[INFO] evaluating...")
(loss, accuracy) = model.evaluate(validation_ds, batch_size=3, verbose=1)
print("[INFO] accuracy: {:.2f}%".format(accuracy * 100))
for img, label in validation_ds:
probs = model.predict(img)
prediction = probs.argmax(axis=1)
print("PREDICTION: " + str(probs))
print("ACTUAL LABEL: " + str(label))
我的训练准确率收敛到 1.0000,但对 model.predict 的调用如下所示:
[INFO] accuracy: 33.33%
PREDICTION: [[0.30813622 0.3550096 0.3368542 ]]
ACTUAL LABEL: tf.Tensor([[1. 0. 0.]], shape=(1, 3), dtype=float32)
PREDICTION: [[0.3081677 0.35502157 0.33681074]]
ACTUAL LABEL: tf.Tensor([[0. 1. 0.]], shape=(1, 3), dtype=float32)
PREDICTION: [[0.3081628 0.35502544 0.3368117 ]]
ACTUAL LABEL: tf.Tensor([[0. 1. 0.]], shape=(1, 3), dtype=float32)
PREDICTION: [[0.30813095 0.3550423 0.33682677]]
ACTUAL LABEL: tf.Tensor([[0. 0. 1.]], shape=(1, 3), dtype=float32)
...
出于某种原因,总是选择第二类,这就是我的 model.evaluate 准确率停留在 33.3% 的原因。我尝试切换各种批量大小、学习率和其他超参数,但无法改变这个结果。
解决方案
您的神经网络可能没有得到足够的训练。您的批量大小为 9,每个 epoch 1 步,以及 100 个 epoch。这意味着在训练结束时,只有 900 个样本会通过网络。我不确定 Keras 在什么时候洗牌,但这甚至可能是相同图像的 900 倍。
我建议你增加steps_per_epoch
很多,并且可能也增加批量大小。
推荐阅读
- syncfusion - 未触发 dataSourceChanged 事件
- qt - 在 QT Creator 5.12.5 中找不到“GL/gl.h”文件
- gitlab-ci - gitlab-ci yaml 文件不会在 -1 上返回失败
- arrays - 在数组过滤器中添加两个条件
- javascript - AngularJS中从对象到ng-repeat的绑定指令
- azure - Powershell - 无需关闭应用程序即可设置环境变量
- reactjs - React JS ref(useRef):包含不是函数
- python - 使用 Python 在 Laravel 中使用 Symfony 进程时出错
- javascript - React Navigation——在一个屏幕上使用两个导航器
- http - HTTP 请求和响应中的“连接:关闭”标头