时间戳

首页 > 解决方案 > 良好的训练准确性，但糟糕的评估

tensorflow - 良好的训练准确性，但糟糕的评估

问题描述

我训练了一个 DNN 模型，得到了很好的训练准确度，但评估准确度很差。

def DNN_Metrix(shape, dropout):
    model = tf.keras.Sequential()
    print(shape)
    model.add(tf.keras.layers.Flatten(input_shape=shape))
    model.add(tf.keras.layers.Dense(10,activation=tf.nn.relu))
    for i in range(0,2):
        model.add(tf.keras.layers.Dense(10,activation=tf.nn.relu))
    model.add(tf.keras.layers.Dense(8,activation=tf.nn.tanh))
    model.add(tf.keras.layers.Dense(1, activation=tf.nn.sigmoid))
    model.compile(loss='binary_crossentropy',
                      optimizer=tf.keras.optimizers.Adam(),
                      metrics=['accuracy'])
    return model

model_dnn = DNN_Metrix(shape=(28,20,1), dropout=0.1)
model_dnn.fit(
    train_dataset, 
    steps_per_epoch=1000, 
    epochs=10, 
    verbose=2
)

这是我的训练过程和结果：

纪元 10/10 - 55s - 损失：0.4763 - acc：0.7807

但是当我使用测试数据集进行评估时，我得到了：

result = model_dnn.evaluate(np.array(X_test), np.array(y_test), batch_size=len(X_test))

loss, accuracy = [0.9485417604446411, 0.3649936616420746] 这是一个二元分类，正标签：负标签约为 0.37：0.63

我不认为这是过度拟合的结果，我在训练时有 700k 个实例，形状为 28 * 20，我的 DNN 模型很简单，参数很少。

这是我生成测试数据和训练数据时的代码：

def parse_function(example_proto):
    dics = {
            'feature': tf.FixedLenFeature(shape=(), dtype=tf.string, default_value=None),
            'label': tf.FixedLenFeature(shape=(2), dtype=tf.float32),
            'shape': tf.FixedLenFeature(shape=(2), dtype=tf.int64)
            }
    parsed_example = tf.parse_single_example(example_proto, dics)
    parsed_example['feature'] = tf.decode_raw(parsed_example['feature'], tf.float64)
    parsed_example['feature'] = tf.reshape(parsed_example['feature'], [28,20,1])
    label_t = tf.cast(parsed_example['label'], tf.int32)

    parsed_example['label'] = parsed_example['label'][1]

    return parsed_example['feature'], parsed_example['label']


def read_tfrecord(train_tfrecord):
    dataset = tf.data.TFRecordDataset(train_tfrecord)
    dataset = dataset.map(parse_function)
    dataset = dataset.shuffle(buffer_size=10000)
    dataset = dataset.repeat(100)
    dataset = dataset.batch(670)
    return dataset


def read_tfrecord_test(test_tfrecord):
    dataset = tf.data.TFRecordDataset(test_tfrecord)
    dataset = dataset.map(parse_function)
    return dataset


# tf_record_target = 'train_csv_temp_norm_vx.tfrecords'
train_files = 'train_baseline.tfrecords'
test_files = 'test_baseline.tfrecords'

train_dataset = read_tfrecord(train_files)
test_dataset  = read_tfrecord_test(test_files)


it_test_dts = test_dataset.make_one_shot_iterator()
it_train_dts = train_dataset.make_one_shot_iterator()


X_test = []
y_test = []

el = it_test_dts.get_next()

count = 1 
with tf.Session() as sess:
    while True:
        try:
            x_t, y_t = sess.run(el)
            X_test.append(x_t)
            y_test.append(y_t)
        except tf.errors.OutOfRangeError:
            break

标签： tensorflowmachine-learningkerasdeep-learning

解决方案

从您在测试集中的数据分布为 [37%-63%] 且最终准确率为 0.365 的事实来看，我将首先检查测试集上预测的标签。

最有可能的是，您的所有预测都属于 0 类，前提是 0 类占您数据集的 37%。在这种情况下，这意味着您的神经网络无法在训练集上学习任何东西，并且您有大量过度拟合的情况。

我建议您始终使用验证集，以便在每个 epoch 结束时检查您的神经网络是否学到了任何东西。在这种情况下（比如你的情况），你会很快看到过度拟合的问题。

推荐阅读