python - 不同模型在超参数调整时对 RNN 模型进行增量拟合
问题描述
我对深度学习很陌生,我正在研究这个 RNN 示例。
完成教程后,我决定查看各种超参数的效果,例如每层中的节点数和 dropout 因子等。
我所做的是,对于列表中的每个值,使用一组参数创建一个新模型并测试我的数据集中的性能。下面是基本代码:
def build_model(MODELNAME, l1,l2,l3, l4, d):
tf.global_variables_initializer()
tf.reset_default_graph()
model = Sequential(name = MODELNAME)
model.reset_states
model.add(CuDNNLSTM(l1, input_shape=(x_train.shape[1:]), return_sequences=True) )
model.add(Dropout(d))
model.add(BatchNormalization())
model.add(CuDNNLSTM(l2, input_shape=(x_train.shape[1:]), return_sequences=True) )
# Definition of other layers of the model ...
model.compile(loss="sparse_categorical_crossentropy",
optimizer=opt,
metrics=['accuracy'])
history = model.fit(x_train, y_train,
epochs=EPOCHS,
batch_size=BATCH_SIZE,
validation_data=(x_validation, y_validation))
return model
layer1 = [64, 128, 256]
layer2,3,4 = [...]
drop = [0.2, 0.3, 0.4]
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.4
for l1 in layer1:
#for l2, l3, l4 for layer2, layer3, layer4
for d in drop:
sess = tf.Session(config=config)
set_session(sess)
MODELNAME = 'RNN-l1={}-l2={}-l3={}-l4={}-drop={} '.format(l1, l2, l3, l4, d)
print(MODELNAME)
model = build_model(MODELNAME, l1,l2,l3, l4, d)
sess.close()
print('-----> training & validation loss & accuracies)
问题在于,当使用新参数构建新模型时,它就像之前模型的下一个 epoch 一样工作,而不是新模型的 epoch 1。下面是一些结果。
RNN-l1=64-l2=64-l3=64-l4=32-drop=0.2
Train on 90116 samples, validate on 4458 samples
Epoch 1/6
90116/90116 [==============================] - 139s 2ms/step - loss: 0.5558 - acc: 0.7116 - val_loss: 0.8857 - val_acc: 0.5213
... # results for other epochs
Epoch 6/6
RNN-l1=64-l2=64-l3=64-l4=32-drop=0.3
90116/90116 [==============================] - 140s 2ms/step - loss: 0.5233 - acc: 0.7369 - val_loss: 0.9760 - val_acc: 0.5336
Epoch 1/6
90116/90116 [==============================] - 142s 2ms/step - loss: 0.5170 - acc: 0.7403 - val_loss: 0.9671 - val_acc: 0.5310
... # results for other epochs
90116/90116 [==============================] - 142s 2ms/step - loss: 0.4953 - acc: 0.7577 - val_loss: 0.9587 - val_acc: 0.5354
Epoch 6/6
90116/90116 [==============================] - 143s 2ms/step - loss: 0.4908 - acc: 0.7614 - val_loss: 1.0319 - val_acc: 0.5397
# -------------------AFTER 31TH SET OF PARAMETERS
RNN-l1=64-l2=256-l3=128-l4=32-drop=0.2
Epoch 1/6
90116/90116 [==============================] - 144s 2ms/step - loss: 0.1080 - acc: 0.9596 - val_loss: 1.8910 - val_acc: 0.5372
如图所示,第 31 组参数的第一个 epoch 表现得好像是第 181 个 epoch。同样,如果我在某一点停止运行并再次重新运行,准确性和损失看起来就像是下一个 epoch,如下所示。
Epoch 1/6
90116/90116 [==============================] - 144s 2ms/step - loss: 0.1053 - acc: 0.9621 - val_loss: 1.9120 - val_acc: 0.5375
我尝试了很多东西(如您在代码中看到的那样),例如model=None
, reinitializing the variables
,等resetting_status of the model
,closing session in each iteration
但没有任何帮助。我没有运气搜索了类似的问题。
我试图了解我做错了什么。任何帮助表示赞赏,
注意:标题不是很解释,我愿意接受更好的标题的建议。
解决方案
看起来您正在使用 Keras 设置,这意味着您需要导入 keras 后端,然后在运行新模型之前清除该会话。它会是这样的:
from keras import backend as K
K.clear_session()
推荐阅读
- python - 尝试在 python 中使用 tensorflow 实现卷积神经网络程序时,我不断收到奇怪的“无效语法”错误
- c - sleep() 会影响 pthread 执行吗?
- python - 复制到 STDOUT Postgres - 标题单元格未引用
- python - Python帮助 - 将txt读入列表但代码逐字符读取
- html-table - 有没有办法在降价表中使用语义换行符?
- linux - 如何将节点添加到 sysctl 的子级别?
- html - CSS:Gmail 去除负面文本内联样式
- html - 汉堡导航不显示菜单
- c - 用C中的字符绘制矩阵
- plugins - 给玩家一个物品(我的世界插件)