tensorflow - 具有负目标的 tf.losses.mean_squared_error

Question

我正在使用 Q 学习，如果我有一个可以给出负奖励的奖励函数，我想知道是否可以使用 tf.losses.mean_squared_error 损失计算函数。

因为如果我有以下 Q 值作为我的网络的输出示例：(0.1, 0.2, 1)，并且我计算出我的实际 Q 值应该是 (0.1, -5, 1)，如果我使用 mean_squared_error 函数第二个 Q 值的损失将变为正值我错了吗？因为平方运算所以梯度下降不会基于正确的损失？

标签： tensorflowneural-networkreinforcement-learningloss-functionq-learning

Answer 1

是的，即使奖励函数可以给出负值，您也可以安全地使用均方误差 (MSE) 损失函数。

正如您所评论的，由于平方运算，MSE 函数将始终为正。然而，这是理想的效果。

例如，考虑一个简单的线性回归。所有的损失函数值都是正的，独立于误差是正的还是负的。这让位于具有全局最小值的凸损失函数，其中梯度下降非常有效。

以下模式（来自Gradient Descent：All You Need to Know文章）说明了梯度下降过程，这可能有助于更好地理解我的意思：