时间戳

首页 > 解决方案 > 如何通过单元测试检查梯度计算

python - 如何通过单元测试检查梯度计算

问题描述

我正在尝试对自定义层进行单元测试。编写前馈测试非常简单，但我不知道如何实现梯度测试。

我发现 tensorflow 测试包中有一个名为的函数，compute_gradient但我找不到任何有关如何使用它的资源。该文档基本上说它计算了我想要的梯度（雅可比矩阵），但是当我尝试使用它时，我得到了EagerTensor is not callable

这是我失败的代码：

class LayerGradientTest(tf.test.TestCase):
    def test_gradient(self):
        with self.test_session():
            input_tensor = [...]
            expected_output = [...]
            expected_gradients = [...]
            test_layer = MyLayer()
            output_tensor = test_layer(tf.Variable(input_tensor))
            grad_computed = tf.test.compute_gradient(output_tensor, expected_output)
            self.assertAllEqual(grad_computed, expected_gradients)

我希望测试在断言中通过或失败，但我得到一个 TypeError: 'tensorflow.python.framework.ops.EagerTensor' object is not callable来自compute_gradient

编辑： 当然梯度需要一个损失函数，我是个白痴......但输出仍然是无意义的形状。我现在使用以下代码：

function = tf.losses.mean_squared_error
grad_computed = tf.test.compute_gradient(function, [output_tensor, expected_output])

我的图层的输入形状是 (1, 2, 2, 3) 和 (1, 2, 2, 2) 但渐变是 4 个 12x4 矩阵的 zip 对象，但是由于我的图层中没有参数，所以我希望得到输入的误差值。如果我再次搞砸了，请纠正我。澄清一下，我的层只是在转换数据，因此它本身没有渐变，但必须正确地向后传播它们。

标签： pythonunit-testingtensorflowgradient

解决方案

检查是否启用了急切执行，如果没有在导入中尝试以下代码

import tensorflow as tf
tf.enable_eager_execution()

推荐阅读