pytorch - 关于闪电战教程中使用的反向参数的pytorch问题

Question

一个 pytorch 问题，关于backward(). 在下面复制和粘贴的 pytorch blitz 教程中，它们将向量传递[0.1, 1.0, 0.0001]给backward(). 我可以直观地猜到为什么[0.1, 1.0, 0.0001]传入的向量形状是 [3] ，但我不明白值 0.1, 1.0, 0.0001 来自哪里。我看过的另一个教程在一个中传递，这样在向量上向后完成是这样的：L.backward(torch.ones(L.shape))

# copied from blitz tutorial
Now in this case y is no longer a scalar. torch.autograd could not compute the full Jacobian directly, but if we just want the vector-Jacobian product, simply pass the vector to backward as argument:

v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward(v)

print(x.grad)

如果有人能解释 [0.1, 1.0, 0.0001] 的原因，我将不胜感激。

标签： pytorch

Answer 1

正如文件所说，隐含地，不能为非标量输出创建 grad 。y是非标量张量，你不能y.backward()直接。但是你可以传入一个向量来向后获取vector-Jacobian product. 如果您不想更改 grads，您可以传入一个所有元素都是 1 的向量。

x = torch.tensor([2.,3.,4.], requires_grad=True)
y = x**2

y.backward() # error

y.backward(torch.tensor([1.,1.,1.])) # work
x.grad # tensor([4.,6.,8.])

# y.backward(torch.tensor([2.,2.,2.])) # change the passed vector. 
# x.grad # tensor([8.,12.,16])