时间戳

首页 > 解决方案 > 如何在每个 epoch 后解决恒定的模型精度

python - 如何在每个 epoch 后解决恒定的模型精度

问题描述

我正在研究深度学习，作为一项作业，我正在做一个分类项目，它有 17k 条记录，14 个特征和一个目标变量，有 11 个类。 在此处输入图像描述

我试图训练一个简单的神经网络

# define the keras model
model1 = keras.Sequential()
model1.add(keras.layers.Dense(64, input_dim=14, activation='relu'))
model1.add(keras.layers.Dense(128, activation='relu'))
model1.add(keras.layers.Dense(64, activation='relu'))  
model1.add(keras.layers.Dense(1, activation='softmax'))

# compile the keras model
model1.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

# fit the keras model on the dataset
performance1 = model1.fit(x_train, y_train, epochs=100, validation_split=0.2)

但这里的问题是我在每个时期都获得了相同的准确性，似乎模型甚至没有学习。 在此处输入图像描述

我试图研究这个问题，并在 StackOverflow 上发现了一些类似的问题，比如这个问题，并尝试了以下事情

但是它们都不起作用，当然，不同试验中的准确性不同（但有相同的问题）。

少数试验如下：

# define the keras model
model1 = keras.Sequential()
model1.add(keras.layers.Dense(64, input_dim=14, activation='sigmoid'))
model1.add(keras.layers.Dense(128, activation='sigmoid'))
model1.add(keras.layers.Dense(64, activation='sigmoid'))  
model1.add(keras.layers.Dense(1, activation='softmax'))

sgd = keras.optimizers.SGD(lr=0.01)
# compile the keras model
model1.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy'])

# define the keras model
model1 = keras.Sequential()
model1.add(keras.layers.Dense(64, input_dim=14, activation='relu'))
model1.add(keras.layers.Dense(128, activation='relu'))
model1.add(keras.layers.Dropout(0.2))
model1.add(keras.layers.Dense(64, activation='relu')) 
model1.add(keras.layers.Dropout(0.2))
model1.add(keras.layers.Dense(1, activation='softmax'))

# compile the keras model
model1.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

我不知道这里有什么问题。如果您需要更多详细信息来处理此问题，请告诉我。请不要关闭这个问题，我知道这个问题有机会标记为重复问题，但相信我，我尝试了很多我作为初学者可以理解的事情。

标签： pythontensorflowkerasdeep-learning

解决方案

问题是softmax应该将 应用于输出数组以获取概率，并且模型的输出数组应该代表每个目标类的 logits。因此你必须改变这条线

model1.add(keras.layers.Dense(1, activation='softmax'))
# TO
model1.add(keras.layers.Dense(df['Class'].nunique(), activation='softmax'))

编辑：

# Let's say you have 11 unique values in your class then you last layer will become
model1.add(keras.layers.Dense(11, activation='softmax'))

# Now your loss will be
model1.compile(loss=tf.keras.loss.SparseCategoricalCrossentropy(), optimizer='adam', metrics=[tf.keras.metrics.SparseCategoricalAccuracy()])

推荐阅读