时间戳

首页 > 解决方案 > BERT 编码器层不可训练

python - BERT 编码器层不可训练

问题描述

我正在尝试从 TensorFlow hub 微调 BERT 模型。我加载了预处理层和编码器，如下所示：

bert_preprocess_model = hub.KerasLayer('https://tfhub.dev/tensorflow/bert_multi_cased_preprocess/3')
bert_model = hub.KerasLayer('https://tfhub.dev/tensorflow/small_bert/bert_en_uncased_L-4_H-512_A-8/1')

这是我的模型定义：

def build_classifier_model():
  text_input = tf.keras.layers.Input(shape=(), dtype=tf.string, name='text')
  preprocessing_layer = hub.KerasLayer(bert_preprocess_model, name='preprocessing')
  encoder_inputs = preprocessing_layer(text_input)
  encoder = hub.KerasLayer(bert_model, trainable=True, name='BERT_encoder')
  outputs = encoder(encoder_inputs)
  net = outputs['pooled_output']
  net = tf.keras.layers.Dropout(0.1)(net)
  net = tf.keras.layers.Dense(3, activation='softmax', name='classifier')(net)
  return tf.keras.Model(text_input, net)

classifier_model = build_classifier_model()

但我收到以下错误： ERROR:absl:hub.KerasLayer 是可训练的，但可训练的权重为零。在官网上，模型是微调的。

标签： pythontensorflowkerasbert-language-model

解决方案

我找到了解决方案，只需添加 trainable = True ：

bert_model = hub.KerasLayer('https://tfhub.dev/tensorflow/small_bert/bert_en_uncased_L-4_H-512_A-8/1',trainable=True)

推荐阅读