时间戳

首页 > 解决方案 > Tensorflow tf.layer.batch_normalization：如何在训练期间使用全局移动统计数据进行归一化？

tensorflow - Tensorflow tf.layer.batch_normalization：如何在训练期间使用全局移动统计数据进行归一化？

问题描述

从文档中，arg 培训

Python 布尔值或 TensorFlow 布尔标量张量（例如占位符）。是在训练模式（使用当前批次的统计数据归一化）还是在推理模式（使用移动统计数据归一化）返回输出。注意：确保正确设置此参数，否则您的训练/推理将无法正常工作。

它从未提到这个 arg 还控制是否更新全局移动统计信息。即使更新操作是通过

update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS, 'train_model') 
with tf.control_dependencies(update_ops):
    train_ops = ...

他们不会被更新的是training=False。我很好奇是否有办法让这些移动统计数据在训练期间不断更新，同时使用它们进行标准化？

标签： tensorflowbatch-normalization

解决方案

推荐阅读