时间戳

首页 > 解决方案 > 冻结模型并训练它

python - 冻结模型并训练它

问题描述

我在 Colab 中使用 Keras Tensorflow。我适合模型并保存它。然后我加载它并检查性能，当然它应该是相同的。然后我把它冷冻起来，再装上它。我希望之后该模型具有相同的性能。当然，在“训练”期间，由于批量大小的不同，准确性可能会有所不同。但是之后当用 model.evaluate 检查它时，我希望没有差异，因为权重不能改变，因为模型被冻结了。然而，事实证明并非如此。

我的代码：

import csv
import tensorflow as tf
import tensorflow_datasets as tfds
import numpy as np
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences

(train_x, train_labels), (test_x, test_labels) = tf.keras.datasets.imdb.load_data(num_words=10000)

x_train_padded = pad_sequences(train_x, maxlen=500)
x_test_padded = pad_sequences(test_x, maxlen=500)

model = tf.keras.Sequential([
    tf.keras.layers.Embedding(10000, 128, input_length=500),
    tf.keras.layers.Conv1D(128, 5, activation='relu'),
    tf.keras.layers.GlobalAveragePooling1D(),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1)
])

model.compile(loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),optimizer='adam', metrics=[tf.metrics.BinaryAccuracy(threshold=0.0, name='accuracy')])

history = model.fit(x=x_train_padded,
                      y=train_labels,
                      validation_data=(x_test_padded , test_labels),
                      epochs=4, batch_size=128)

给出输出：

前1

我保存模型：

model.save('test.h5')

并将其加载回来：

modelloaded=tf.keras.models.load_model('test.h5')

并检查性能：

modelloaded.evaluate(x_test_padded , test_labels)

当然还是一样的：

ex2

现在我将模型设置为不可训练：

modelloaded.trainable=False

确实：

modelloaded.summary()

表明所有参数都是不可训练的：

ex4

现在我再次安装它，只使用一个时代：

history = modelloaded.fit(x=x_train_padded,
                      y=train_labels,
                      validation_data=(x_test_padded , test_labels),
                      epochs=1, batch_size=128)

我知道虽然权重是不可训练的，但准确性会发生变化，因为这取决于批量大小。

但是，当我之后检查模型时：

modelloaded.evaluate(x_test_padded , test_labels)

ex6

我可以看到模型被改变了？损失和准确率不同。我不明白为什么，我本来期望相同的数字。因为模型无法训练。如果我用不同的批量大小调用它并不重要：

modelloaded.evaluate(x_test_padded , test_labels, batch_size=16)

这些数字始终相同，但与模型拟合之前的数字不同。

编辑：

我尝试了以下方法：

modelloaded=tf.keras.models.load_model('test.h5')
modelloaded.trainable=False

for layer in modelloaded.layers:
  layer.trainable=False

history = modelloaded.fit(x=x_train_padded,
                          y=train_labels,
                          validation_data=(x_test_padded , test_labels),
                          epochs=1, batch_size=128)

modelloaded.evaluate(x_test_padded, test_labels)

但是，仍然调整了权重（我通过 print(modelloaded.trainable_variables)前后比较检查了这一点）并且 modelloaded.evaluate 输出给出了略有不同的结果，我预计不会有任何变化。因为模型的权重不应该改变。但他们做到了，正如我在检查时看到的那样 print(modelloaded.trainable_variables)。

标签： pythontensorflowkeras

解决方案

这似乎是这里讨论的一个更大的问题。明确设置所有层不可训练应该有效：

for layer in modelloaded.layers:
        layer.trainable = False

推荐阅读