python - 上一批Pytorch损失函数错误
问题描述
假设我有 77 个样本来训练我的 CNN,我batch size
是 10。那么最后一批的 abatch size
是 7 而不是 10。不知何故,当我将它传递给损失函数时nn.MSELoss()
,它给了我错误:
RuntimeError:张量 a (10) 的大小必须与非单维 1 处的张量 b (7) 的大小相匹配
所以pytorch不支持不同大小的批次?
我的代码有疑问:
import numpy as np
import torch
from torch import nn
import torchvision
import torch.nn.functional as F
import torch.optim as optim
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv1 = nn.Conv2d(1, 6, (5,4))
self.pool = nn.MaxPool2d(2, 2)
self.conv2 = nn.Conv2d(6, 16, 5)
self.fc1 = nn.Linear(64, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)
def forward(self, x):
x = self.pool(F.relu(self.conv1(x)))
x = self.pool(F.relu(self.conv2(x)))
x = x.view(-1, x.shape[1] * x.shape[2] * x.shape[3])
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
model = Net()
batch_size = 10
# Generating Artifical data
x_train = torch.randn((77,1,20,20))
y_train = torch.randint(0,10,size=(77,),dtype=torch.float)
trainset = torch.utils.data.TensorDataset(x_train,y_train)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=batch_size, shuffle=True, num_workers=0)
# testloader = torch.utils.data.DataLoader(testset, batch_size=batch_size, shuffle=False, num_workers=0)
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9)
for epoch in range(20): # loop over the dataset multiple times
running_loss = 0.0
for i, data in enumerate(trainloader, 0):
# get the inputs
inputs, labels = data
# zero the parameter gradients
optimizer.zero_grad()
# forward + backward + optimize
outputs = model(inputs)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()
# print statistics
running_loss += loss.item()
if i%10==0:
print('epoch{}, step{}, loss: {}'.format(epoch + 1, i + 1, running_loss))
# print("frac post = {}".format(frac_post))
running_loss = 0.0
解决方案
问题不是由于批量大小,而是由于在 CNN 的 10 个输出和每个示例中提供的单个标签之间无法正确广播。如果您在抛出错误的批处理期间查看模型输出和标签张量形状,
print(outputs.shape, labels.shape)
#out: torch.Size([7, 10]) torch.Size([7])
您会看到标签存储在单例张量中。根据pytorch 广播规则,要广播的两个张量必须在所有尾随维度上兼容。在这种情况下,模型输出 (10) 的尾随维度与标签 (7) 的尾随维度不兼容。
要解决此问题,请向标签添加一个虚拟维度(假设您实际上想要广播标签以匹配您的十个网络输出),或者定义一个具有标量输出的网络。例如:
y_train = torch.randint(0,10,size=(77,1),dtype=torch.float)
结果是
print(outputs.shape, labels.shape)
#out: torch.Size([7, 10]) torch.Size([7,1])
# these are broadcastable
推荐阅读
- webgl - 有没有办法使用异步函数将数据(缓冲区数据)并行传递给 gpu?
- sql - 更新 jsonb 对象以包含来自父行的键/值
- react-native - React Native Redux Saga takeLatest 方法没有被调用
- angular - 我想在已经渲染的 Angular 组件中重用表单单选按钮元素
- c - 当结构开头的名称和结构结尾的名称不同时,这意味着什么?
- c++ - 如果子类覆盖另一个具有相同名称和不同签名的方法,则不会继承基类方法
- python - 使用数据帧中的值更新 python 字典
- office-js - 在 Visual Studio OfficeJS 中使用 typescript 调用 Rest API 示例
- java - 通过删除jboss中的文件来取消部署war
- google-cloud-platform - 数据流作业因“无法启动足够的工人”而失败,配额正常,更改机器类型和区域不会改变任何内容