tensorflow - 从检查点加载 BERT 时评估精度不同

Question

出于某种原因，当我在训练后立即评估我的 BERT 测试集与从保存的检查点加载时，我得到了截然不同的损失和 acc。我认为这可能是我对 BERT 的改编，所以我尝试尽可能少地修改 run_classifier.py 脚本以适应我的用例，但我仍然看到这个问题。

我能想到的唯一原因是模型没有正确加载，但我不知道如何修复它。我相信我正在加载最初的意图。对于 init_checkpoint 参数，我传递 path/to/classifier/model.ckpt-{last_step}。有三个模型文件（元、索引、数据），但也有检查点、事件和图形文件。我还需要对其他三个文件做些什么吗？我习惯使用 keras，这种纯粹的 tensorflow 保存/加载过程对我来说似乎是不必要的复杂化。

预先感谢您提供有关 BERT 或纯 tf 保存/加载的任何帮助/见解！如果你对 BERT 不熟悉，这里是 github 链接：BERT GitHub

标签： tensorflownlptensorflow-estimator