neural-network - 彩票假设 - 迭代修剪

Question

我正在阅读有关彩票假设的文章，并在论文中提到：

我们专注于迭代修剪，它在 n 轮中反复训练、修剪和重置网络；每一轮修剪 (p^(1/n))% 的权重在前一轮幸存下来。

当n = 5（轮）并且最终所需的稀疏度（p）= 70％时，有人可以用数字解释每一轮的说法。

在这个例子中，我计算的数字如下：

Round        (p^(1/n))% of weights pruned

1             0.93114999

2             0.86704016

3             0.80734437

4             0.75175864

5             0.7

根据这些计算，似乎第一轮修剪了 93.11%（大约）的权重，而第五轮修剪了 70% 的权重。好像随着轮次的进行，被修剪的权重百分比会降低。我究竟做错了什么？

谢谢！

标签： neural-network

Answer 1

您正在使用 p^(1/n)。随着您在每次迭代后增加 n，您的 p^(1/n) 项会减少！