pytorch——反向传播

import torch
x_data=[1,2,3]
y_data=[2,4,6]

w=torch.tensor([1.0])
w.requires_grad=True   #计算梯度，要特地设置，不要自动产生梯度

#构建计算图
def forward(x):
    return x*w  #x and w都是tensor
def loss(x,y):
    y_pred=forward(x)
    return (y_pred-y)*(y_pred-y)

print("训练之前",4,forward(4).item())
#训练过程
for epoch in range(100):
    for x,y in zip(x_data,y_data):   #把x_data和y_data整理成一个样本（x，y）
        l=loss(x,y)  #前馈计算，并计算出损失值，张量
        l.backward()  #后向计算，自动把计算图中需要梯度的地方求出，存到tensor的w中，释放计算图，下次进行loss计算时，在准备下一次的计算图
        print('grad:',x,y,w.grad.item())
        w.data=w.data-w.grad.data*0.01  #张量loss中包含tensor类型的data和grad，要获得梯度（数值），而w.grad计算图，需要w.grad.data数值
        w.grad.data.zero_()   #梯度手工清零
    print("progress",epoch,l)

print("训练之后",4,forward(4).item())
pytorch——反向传播

推荐阅读
