python - 具有平方特征的 Pytorch 线性回归
问题描述
我是 PyTorch 的新手,我想部分地用 PyTorch 实现线性回归,部分地自己实现。我想使用平方特征进行回归:
import torch
# init
x = torch.tensor([1,2,3,4,5])
y = torch.tensor([[1],[4],[9],[16],[25]])
w = torch.tensor([[0.5], [0.5], [0.5]], requires_grad=True)
iterations = 30
alpha = 0.01
def forward(X):
# feature transformation [1, x, x^2]
psi = torch.tensor([[1.0, x[0], x[0]**2]])
for i in range(1, len(X)):
psi = torch.cat((psi, torch.tensor([[1.0, x[i], x[i]**2]])), 0)
return torch.matmul(psi, w)
def loss(y, y_hat):
return ((y-y_hat)**2).mean()
for i in range(iterations):
y_hat = forward(x)
l = loss(y, y_hat)
l.backward()
with torch.no_grad():
w -= alpha * w.grad
w.grad.zero_()
if i%10 == 0:
print(f'Iteration {i}: The weight is:\n{w.detach().numpy()}\nThe loss is:{l}\n')
当我执行我的代码时,回归并没有学习到正确的特征,并且损失会永久增加。输出如下:
Iteration 0: The weight is:
[[0.57 ]
[0.81 ]
[1.898]]
The loss is:25.450000762939453
Iteration 10: The weight is:
[[ 5529.5835]
[22452.398 ]
[97326.12 ]]
The loss is:210414632960.0
Iteration 20: The weight is:
[[5.0884394e+08]
[2.0662339e+09]
[8.9567642e+09]]
The loss is:1.7820802835250162e+21
有人知道,为什么我的模型不学习?
更新
解决方案
您应该标准化您的数据。此外,由于您试图适应x -> ax² + bx + c
,c
本质上是偏见。将其从训练数据中删除(我在psi
这里指的是)并为偏差使用单独的参数应该更明智。
可以做什么:
用均值和标准差标准化您的输入数据和目标。
将参数分为
w
(双分量权重张量)和b
(偏差)。因为是相同的,所以您不需要构建
psi
每个推论。x
psi
你可以用构建torch.stack([torch.ones_like(x), x, x**2], 1)
,但在这里我们不需要那些,因为我们基本上已经从权重张量中分离了偏差。
这是它的样子:
x = torch.tensor([1,2,3,4,5]).float()
psi = torch.stack([x, x**2], 1).float()
psi = (psi - psi.mean(0)) / psi.std(0)
y = torch.tensor([[1],[4],[9],[16],[25]]).float()
y = (y - y.mean(0)) / y.std(0)
w = torch.tensor([[0.5], [0.5]], requires_grad=True)
b = torch.tensor([0.5], requires_grad=True)
iterations = 30
alpha = 0.02
def loss(y, y_hat):
return ((y-y_hat)**2).mean()
for i in range(iterations):
y_hat = torch.matmul(psi, w) + b
l = loss(y, y_hat)
l.backward()
with torch.no_grad():
w -= alpha * w.grad
b -= alpha * b.grad
w.grad.zero_()
b.grad.zero_()
if i%10 == 0:
print(f'Iteration {i}: The weight is:\n{w.detach().numpy()}\nThe loss is:{l}\n')
结果:
Iteration 0: The weight is:
[[0.49954653]
[0.5004535 ]]
The loss is:0.25755801796913147
Iteration 10: The weight is:
[[0.49503425]
[0.5049657 ]]
The loss is:0.07994867861270905
Iteration 20: The weight is:
[[0.49056274]
[0.50943726]]
The loss is:0.028329044580459595
推荐阅读
- python - 使用 Flask 运行简单的 Python Web 应用程序时出错
- html - 如何通过 CSS 在文本后面添加一个突出显示,使其看起来像下面的 Instagram-one?
- python - 如何使用 Python 在屏幕上绘制一个空矩形
- java - /graphql POST 方法不允许在部署在 AWS lambda 上的 springboot graphql 应用程序中使用
- mongodb - 使用 --auth 和 --bind_ip 本地主机 my_IP_address 启动 Mongod,无法检索本地主机的内存
- sas - SAS : Proc format The SAS task name is [FORMAT (] Segmentation Violation Issue
- asp.net - 如何在实际服务器上(全局)部署 IIS webApp?
- javascript - 在 jQuery/JavaScript 中基于逗号分隔的数据属性值显示/隐藏 div
- dpdk - 有效 CPUSET 的 testPMD 错误(EAL:无效核心列表语法)
- javascript - JavaScript / 从 0 开始设置增量索引