tensorflow - PyTorch BatchNorm1D、2D、3D 和 TensorFlow/Keras BatchNormalization

Question

我想BatchNorm1D在 TensorFlow 的 PyTorch 中使用 like。我注意到BatchNormalization()在 TF 中有axis=-1默认设置。BatchNorm1D, BatchNorm2D, BatchNorm3DPyTorch 中哪个轴是正确的？

标签： tensorflowkeraspytorch

Answer 1

这取决于您订购的尺寸。

Pytorch 在轴 = 1 上执行其批处理规范。但它也有 axis=1 的张量作为卷积通道。

Tensorflow 在卷积的最后一个轴上有通道。所以它的batchnorm把它们放在axis=-1中。

在大多数情况下，使用默认设置应该是安全的。