python - 在 tensorflow 中冻结层会节省模型更新时间吗？

我正在尝试使用迁移学习方法训练模型，该方法涉及加载和冻结一个非常大的嵌入层。由于训练速度也是我在这项任务中关心的问题，我希望冻结层也能提高训练速度。但是，我根本没有观察到任何速度改进。

我使用冻结嵌入层

self.embedding_layer.trainable = False

模型摘要中观察到的不可训练参数是否增加

由于冻结层可能出现在模型中间，并且梯度需要向下传递到前几个可训练层，我认为 tensorflow 仍然计算冻结层的梯度，但只是在更新阶段跳过它们。

如果我的猜测是正确的，有没有办法从梯度计算中移除冻结层？

标签： pythontensorflow