machine-learning - 是否有一种既定的方法来实现基于梯度的修剪 w 神经网络？

Question

正如标题所暗示的那样，我正在尝试在神经网络中实现基于梯度的修剪。我在查找实现细节时遇到问题。

1. 我应该以什么梯度为基础进行修剪？我应该从训练中保存梯度，还是应该在修剪之前运行所有测试用例以累积梯度？
2. 一旦我有了梯度，我应该修剪与梯度的最高值还是最低值相对应的权重？（我几乎可以肯定最高，但想确定）

提前感谢您在这个问题上花费的时间。

标签： machine-learningneural-networkpytorchpruning