tensorflow - 使用 TFMOT 修剪的模型是否需要重新训练？

Question

我正在尝试使用 TFMOT（Tensorflow 模型优化工具包）修剪预训练模型。是否有必要重新训练修剪后的模型以减小 gzip 大小？不重新训练，模型gzip大小并没有减少

标签： tensorflowdeep-learning

Answer 1

是的，有必要训练模型来应用剪枝。

在训练过程中，修剪会慢慢将一些权重降低到零。这个渐进过程对于保持良好的准确性是必要的，可以通过特定的修剪计划进行微调。为获得最佳结果，应将修剪应用于已训练的模型。

Tensorflow 团队目前正在研究如何在没有培训的情况下一次性应用剪枝。目标不是生成有用的模型，而是在不重新训练的情况下测量修剪的大小和性能优势。 https://github.com/tensorflow/model-optimization/issues/621