python - Tensorflow 模型错误地为检查点保存变量名称

Question

我有一个模型（BERT 模型），它正在使用大型数据集进行训练，并保存用于在较小的任务中进行微调。问题是当我生成检查点时，Tensorflow 会自动为层变量添加数字后缀，例如：

transforrmer/layer_0/output/layer_normalization_2/gamma

不应该layer_normalization_2，但是layer_normalization。

当我尝试使用 Google 的原始转换器将我的检查点转换为 TF2 检查点时，这会导致错误。我只是不想让 Tensorflow 继续在层名称的末尾添加这个数字。

提前致谢

标签： pythontensorflowbert-language-model