tensorflow - 为什么 Keras BatchNorm 产生的输出与 PyTorch 不同？

Question

火炬：'1.9.0+cu111'

TensorFlow-gpu：'2.5.0'

我遇到了一个奇怪的事情，当使用 tensorflow 2.5 的 Batch Normal 层和 Pytorch 1.9 的 BatchNorm2d 层计算相同的 Tensor 时，结果相差很大（TensorFlow 接近 1，Pytorch 接近 0）。我起初以为是动量和epsilon之间的差异，但将它们更改为相同后，结果是相同的。

from torch import nn
import torch
x = torch.ones((20, 100, 35, 45))
a = nn.Sequential(
            # nn.Conv2d(512, 128, kernel_size=(1, 1), stride=(1, 1), padding=0, bias=True),
            nn.BatchNorm2d(100)
        )
b = a(x)

import tensorflow as tf
import tensorflow.keras as keras
from tensorflow.keras.layers import *
x = tf.ones((20, 35, 45, 100))
a = keras.models.Sequential([
            # Conv2D(128, (1, 1), (1, 1), padding='same', use_bias=True),
            BatchNormalization()
        ])
b = a(x)

标签： tensorflowkerasdeep-learningpytorchbatch-normalization

Answer 1

批标准化在训练和推理中的工作方式不同，

在训练期间（即使用fit()或调用带有参数的层/模型时training=True），层使用当前批次输入的均值和标准差对其输出进行归一化。也就是说，对于每个被归一化的通道，该层返回

gamma * (batch - mean(batch)) / sqrt(var(batch) + epsilon) + beta

在哪里：

• epsilon是一个小常数（可配置为构造函数参数的一部分）
• gamma是一个学习的缩放因子（初始化为 1），可以通过将 scale=False 传递给构造函数来禁用它。
• beta是一个学习的偏移因子（初始化为 0），可以通过将 center=False 传递给构造函数来禁用它。

在推理过程中（即当使用evaluate()或predict()调用带有参数的层/模型时training=False（这是默认值），层使用它在训练期间看到的批次的均值和标准差的移动平均值对其输出进行归一化。即说，它返回

gamma * (batch - self.moving_mean) / sqrt(self.moving_var + epsilon) + beta.

self.moving_mean并且self.moving_var是不可训练的变量，每次在训练模式下调用层时都会更新，如下所示：

    moving_mean = moving_mean * momentum + mean(batch) * (1 - momentum)
    moving_var = moving_var * momentum + var(batch) * (1 - momentum)

参考：https ://www.tensorflow.org/api_docs/python/tf/keras/layers/BatchNormalization

如果你在 mode 下运行 pytorch batchnorm eval，你会得到接近的结果（其余的差异来自不同的内部实现、参数选择等），

from torch import nn
import torch
x = torch.ones((1, 2, 2, 2))
a = nn.Sequential(
            # nn.Conv2d(512, 128, kernel_size=(1, 1), stride=(1, 1), padding=0, bias=True),
            nn.BatchNorm2d(2)
        )
a.eval()
b = a(x)
print(b)
import tensorflow as tf
import tensorflow.keras as keras
from tensorflow.keras.layers import *
x = tf.ones((1, 2, 2, 2))
a = keras.models.Sequential([
            # Conv2D(128, (1, 1), (1, 1), padding='same', use_bias=True),
            BatchNormalization()
        ])
b = a(x)
print(b)

out:

tensor([[[[1.0000, 1.0000],
          [1.0000, 1.0000]],

         [[1.0000, 1.0000],
          [1.0000, 1.0000]]]], grad_fn=<NativeBatchNormBackward>)
tf.Tensor(
[[[[0.9995004 0.9995004]
   [0.9995004 0.9995004]]

  [[0.9995004 0.9995004]
   [0.9995004 0.9995004]]]], shape=(1, 2, 2, 2), dtype=float32)