卷积神经网络的参数量计算和浮点计算量分析

1. CNN参数

params(w) = c_o*(c_i * k_w * k_h)

params(b) = c_o

所以总的参数量为 params = c_o*(c_i* k_w * k_h+ 1)

当使用了BatchNormalization时，不需要bias

2. CNN计算量

FLOPs (乘法) = c_o*H * W * (c_i* k_w * k_h) 其中H， W代表输出特征的宽和高

FLOPs (加法(w)) = c_o*H * W * (c_i* k_w * k_h- 1) 其中H， W代表输出特征的宽和高

FLOPs (加法(b)) = c_o*H * W * (1) 其中H， W代表输出特征的宽和高

所以总的计算量 FLOPs = c_o*H * W * (c_i* k_w * k_h) * 2

3. 全连接层参数

全连接即普通的矩阵运算

对于（b, m）的输入，如果要转化为（b, n）的输出

其kernel的维度为（m,n）bias的维度为（n,）

所以，params = （m + 1）* n

4. 全连接层计算量

每一个输出都需要经过m次乘法，(m-1)次加法 + 1次加法，共有n个输出

所以总的计算量 FLOPs = 2 * m * n

参考：