时间戳

首页 > 解决方案 > CNN 权重卡住了

conv-neural-network - CNN 权重卡住了

问题描述

这是一个稍微有点理论的问题。下图描绘了 CNN 正在接受训练时的损失。Y 轴是 MSE，X 轴是 Epoch 数。在此处输入图像描述

美国有线电视新闻网简介：

class Net(nn.Module):

def __init__ (self):
    super(Net, self).__init__()
    self.conv1 = nn.Conv1d(in_channels = 1, out_channels = 5, kernel_size = 9) #.double
    self.pool1 = nn.MaxPool1d(3)
    self.fc1 = nn.Linear(5*30, 200)
    #self.dropout = nn.Dropout(p = 0.5)
    self.fc2 = nn.Linear(200, 99)

def forward(self, x):
    x = self.pool1(F.relu(self.conv1(x)))
    x = x.view(-1, 5 * 30)
    #x = self.dropout(F.relu(self.fc1(x)))
    x = F.relu(self.fc1(x))
    x = self.fc2(x)
    return x

def init_weights(m):
    if type(m) == nn.Linear:
       nn.init.xavier_uniform_(m.weight)
       m.bias.data.fill_(0.01)


 net = Net()
 net.apply(init_weights)

 criterion = nn.MSELoss()
 optimizer = optim.Adam(net.parameters(), lr=0.01-0.0001) # depends

输入和输出都是数字数组。这是一个多元回归输出问题。

如果我使用较低的学习率，损失/权重卡在错误位置的问题不会发生太多。但是，它仍然会发生。从某种意义上说，这意味着由 CNN 的参数创建的超维空间带有许多局部最小值。这可能是真的，因为 CNN 的输入非常相似。增加卷积层和全连接线性的 CNN 层是否有助于解决这个问题，因为它们的超维空间可能更平滑？还是这种直觉完全不正确？一个更广泛的问题，你应该何时倾向于添加更多的卷积层？我知道在实践中你几乎不应该从头开始，而是使用另一个模型的前几层。然而，

标签： conv-neural-networkpytorchgradienthyperparameters

解决方案

这是一个多类分类问题吗？如果是这样，您可以尝试使用交叉熵损失。和输出之前的softmax层可能吗？我不确定，因为我不知道模型的输入和输出是什么。

推荐阅读