首页 > 技术文章 > batch_size的作用

marklong 2021-06-23 20:58 原文

原因:
损失函数在顶层,顶层训练的比较快
数据在底层,数据发生变化,所有都变化,最后那些层需要学习多次,收敛变慢
在改变底部数据时,避免顶部重新训练


作为可学习的b与r,
作用在:
全连接和卷积层的输出上,激活函数前。(bn是线性变化,激活函数增加非线性)
在输入上
全连接,作用在特征维度。

● 其次在归一化过程中使用的均值和标准差是在mini-batch上计算的,它们相对整个数据集的均值标准差,具有一定的噪声,这就使得BN有轻微的正则化效果。
● BN中 a和 b的作用:因为我们不知道每一层做归一化是不是一定会更好,也不知需要归一化到什么程度,所以设置这两个参数让模型自己去学到合适的归一化。
● 需要注意的是,在batch_size很小时,BN的效果会变得很差。因为均值和标准差的噪声太大了
● 训练时和测试时的不同点:测试时用的均值和方差是全部训练数据的均值和方差。
一般不改变模型精度

推荐阅读