首页 > 技术文章 > Batch Normalization和Layer Normalization

hizhaolei 2019-08-09 18:54 原文

Batch Normalization:对一个mini batch的样本,经过一个nueron(或filter)后生成的feature map中的所有point进行归一化。(纵向归一化)

Layer Normalization:对单个样本,经过一个卷积层的所有neuron(或filter)后生成的feature map中的所有point进行归一化。(横向归一化)

推荐阅读