python - 如果输入包含 NaN,则通过 Pytorch Element-Wise Operation 反向传播
问题描述
假设我想计算两个张量之间的逐元素商。如果其中一个张量包含 NaN,则所得商也将包含 NaN,我理解这一点。但是为什么梯度在整个操作中变得不存在呢?以及如何保留非 NaN 条目的梯度?
例如:
>>> x = torch.tensor([1.0, np.NaN])
>>> y = torch.tensor([2.0, 3.0])
>>> z = torch.div(y, x)
>>> z
tensor([2., nan])
>>> z.backward()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/local/lib/python3.6/dist-packages/torch/tensor.py", line 107, in backward
torch.autograd.backward(self, gradient, retain_graph, create_graph)
File "/usr/local/lib/python3.6/dist-packages/torch/autograd/__init__.py", line 93, in backward
allow_unreachable=True) # allow_unreachable flag
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
解决方案
你的代码有很多错误,特此指出,希望能启发你:)
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
不是因为NaN
. 这是因为您的输入变量都不需要梯度,因此 z 没有可能调用backward()
. 您需要在某处启动反向传播树。- 您不能只
.backward()
使用具有多个值的张量。您需要sum()
首先进行一些类似的操作,但这会NaN
在您的情况下产生。z
您可以通过调用分别反向传播两个部分.backward(torch.Tensor([1.0,1.0]))
。
因此,如果您修复了所有错误,它应该可以工作:
import torch
import numpy as np
x = torch.tensor([1.0, np.NaN], requires_grad=True)
y = torch.tensor([2.0, 3.0])
z = torch.div(y, x)
z.backward(torch.Tensor([1.0,1.0]))
print(x.grad)
tensor([-2., nan])
推荐阅读
- python - 如何使用美丽的汤保存页面中的所有图像?
- php - 计算数组中特定数字的值并返回出现次数
- java - switch语句上的“需要常量表达式”?
- java - 在将数据从 firebase 获取到 string[] 数组时需要帮助。尝试了所有可用的方法,但坚持只获得最后一个值
- c# - 在 C# 中从 CSV 读取不同的值到 Datagridview
- javascript - 当我尝试在模拟器上运行时,React Native 失败
- php - SOAP 调用后获取 XML 字段
- c++ - 如何封装函数绑定?
- python-3.x - 如何识别 prargraph 中存在 2 个不同的字符串
- sql - 有多个 if 条件时如何进行 SQL 查询