时间戳

首页 > 解决方案 > 用 keras 构建一个密集的残差网络

python - 用 keras 构建一个密集的残差网络

问题描述

我正在尝试使用 Keras 构建基于密集网络的分类器。我的输入是 (26,1) 向量，我想得到一个二进制分类 1 或 0 作为输出。

使用 Dense 网络和 hyperas 进行一些优化，我设法达到 80% 的准确度，这还不错，但我正在尝试使用残差网络来提高网络的准确度。

我在各种论坛上发现了很多卷积网络的残差网络示例，但我没有找到残差网络的示例。

我尝试了以下代码来生成残网：

Input=keras.Input(shape=(X_train.shape[1],))
x1=layers.Dense(512,activation='relu')(Input)
x1=layers.Dropout(0.5)(x1)
x1=layers.Dense(128,activation='relu')(x1)
x1=layers.Dropout(0.4)(x1)
# x1=layers.Dense(512,activation='relu')(x1)
# x1=layers.Dropout(0.3)(x1)

x2=layers.Dense(128,activation='relu')(Input)
x2=layers.Dropout(0.5)(x2)

added=layers.Add()([x1,x2])#pour faire du ResNet
x3=layers.Dense(128,activation='relu')(added)
final=layers.Dense(1,activation='sigmoid')(x3)

model=Model(Input,final)

model.compile(optimizer='RMSprop',loss='binary_crossentropy',metrics=['accuracy'])

history=model.fit(X_train,Y_train,validation_data=(X_valid,Y_valid),epochs=100,batch_size=128,class_weight=class_weight)

loss = history.history['acc']
val_loss=history.history['val_acc']

epochs=range(1,len(loss)+1)

plt.plot(epochs,loss,'bo',label='Training accuracy')
plt.plot(epochs,val_loss,'b',label='Validation accuracy')
plt.title('Training and validation accuracy')
plt.legend()

plt.show()

我尝试了各种 epoch 训练，但网络没有达到超过 75% 的准确率，这比以前更差。当然，我仍然可以使用 hyperas 再次提高准确性并调整超参数，但我“一开始”期待更好的性能。

问题 ：

感谢您的建议

标签： pythonmachine-learningkerasneural-networkdeep-residual-networks

解决方案

首先，resnet 旨在用于更深的网络。您的网络似乎太浅而无法获得最大 adding收益。

更一般地说，resnet 是 VGGNet 等简单架构的一种进化版本，旨在能够“更深入”。这并不意味着如果网络太浅，残差层总是会提高您的准确性。

添加更多层应该会有所帮助。关键思想是通过允许跳过连接来避免网络更深层的梯度消失。

推荐阅读