时间戳

首页 > 解决方案 > 张量流中RMSPROP优化器的初始化

python - 张量流中RMSPROP优化器的初始化

问题描述

在 tensorflow 中，RMSPROP 优化器可以与tf.train.RMSPropOptimizer函数一起使用，如下所示（这与 tensorflow 版本 1.4 相关）。

tf.train.RMSPropOptimizer(
    learning_rate, decay=0.9, momentum=0.0, epsilon=1e-10, use_locking=False,
    centered=False, name='RMSProp'
)

但它没有传达如何初始化每个 weight 的平方梯度的移动平均值。tensorflow是如何初始化的？

标签： pythontensorflow

解决方案

在 tensorflow github 存储库中，它使用了一个初始化器来初始化每个权重的平方梯度的移动平均值。

检查tensorflow 1.4版的以下内容

https://github.com/tensorflow/tensorflow/blob/r1.4/tensorflow/python/training/rmsprop.py

推荐阅读