时间戳

首页 > 解决方案 > 如何使用 Tensorflow 的调试器来解决他们“入门”示例中的分歧？

python - 如何使用 Tensorflow 的调试器来解决他们“入门”示例中的分歧？

问题描述

我正在关注 TF 的Getting Started，我们在线性模型上进行简单的梯度下降，对其进行小调整会导致我用作测试用例来学习 TF 调试器的问题。这是入门中的代码：

import tensorflow as tf
from tensorflow.python import debug as tf_debug

sess = tf.Session()
# sess = tf_debug.LocalCLIDebugWrapperSession(sess)

W = tf.Variable([.3], tf.float32)
b = tf.Variable([-.3], tf.float32)
x = tf.placeholder(tf.float32)
model = W * x + b
y = tf.placeholder(tf.float32)
sq_deltas = tf.square(model - y)
loss = tf.reduce_sum(sq_deltas)

init = tf.global_variables_initializer()
sess.run(init)

optimizer = tf.train.GradientDescentOptimizer(0.01)
train = optimizer.minimize(loss)

for i in range(1000):
    sess.run(train, {x: list(range(1, 8)),
                     y: list(range(0, -7, -1))})

out = sess.run([W, b])

现在W和b已经分道扬镳：

>>> print(out)
[array([nan], dtype=float32), array([nan], dtype=float32)]

请注意，在sess.run(train, ...)我的示例中使用了 7 个示例的数据集，而他们的示例使用了 4 个示例：

{
  x : np.array([1., 2., 3., 4.]),
  y : np.array([0., -1., -2., -3.])
}

渐变是发散的，所以如果我使用它，它可以再次正确解决问题，尽管速度很慢：

optimizer = tf.train.GradientDescentOptimizer(0.001)

所以我可以进入调试模式：

python -m mything.py --debug
> run # runs sess.run(init)
> run -f has_inf_or_nan # runs gradient descent, filters for inf/nan
  # Square:0 was found to have inf
> pt Square:0 # all at or approaching inf
> ni Square # I'm not sure what do do with this
> ni -t Square # buried in the output, my code line:
  # sq_deltas = tf.square(model - y)

但此时我迷路了，调试器对我来说仍然有点难以捉摸。

1）我如何追踪这些infs 的来源，重要的是，2）我做错了什么让这个简单的线性模型无法扩展到更大的数据集？

标签： pythontensorflow

解决方案

1）我如何追踪这些信息的来源，

你不会的。除非有实际的错误，否则优化的分歧就是你所说的“紧急行为”。它不会发生在代码中的一个错误步骤中。参数只是越来越远离它们的最佳值。

2）这个简单的线性模型无法扩展到更大的数据集，我做错了什么？

SGD 通常会因学习率的某些值而发散。这是算法的本质。这些值取决于模型、初始值和数据集。你只是在观察后者。

在您的情况下，数据的规模发生了变化。

推荐阅读