时间戳

首页 > 解决方案 > 使用 LSTM 有状态来传递上下文 b/w 批次；可能是上下文传递中的一些错误，没有得到好的结果？

pytorch - 使用 LSTM 有状态来传递上下文 b/w 批次；可能是上下文传递中的一些错误，没有得到好的结果？

问题描述

在将数据提供给网络之前，我已经检查了数据。数据是正确的。

使用 LSTM 并传递上下文 b/w 批次。per_class_accuracy 正在改变，但损失并没有下降。卡了很久，不知道代码有没有错误？

我有基于不平衡数据集的多类分类问题

数据集类型：CSV

数据集大小：20000

基于传感器的 CSV 数据

X = 0.6986111111111111,0,0,1,0,1,0,0,0,1,0,0,0,0,1,0,0,0,1,1,0,0,0

Y =请假

每班准确率：{'leaveHouse': 0.34932855, 'getDressed': 1.0, 'idle': 0.8074534, 'prepareBreakfast': 0.8, 'goToBed': 0.35583413, 'getDrink': 0.0, 'takeShower': 1.0, 'useToilet' ：0.0，“吃早餐”：0.8857143}

训练：

# Using loss weights, the inverse of class frequency

criterion = nn.CrossEntropyLoss(weight = class_weights)

 hn, cn = model.init_hidden(batch_size)
            for i, (input, label) in enumerate(trainLoader):
                hn.detach_()
                cn.detach_()
                input = input.view(-1, seq_dim, input_dim)

                if torch.cuda.is_available():
                    input = input.float().cuda()
                    label = label.cuda()
                else:
                    input = input.float()
                    label = label

                # Forward pass to get output/logits
                output, (hn, cn) = model((input, (hn, cn)))

                # Calculate Loss: softmax --> cross entropy loss
                loss = criterion(output, label)#weig pram
                running_loss += loss
                loss.backward()  # Backward pass
                optimizer.step()  # Now we can do an optimizer step
                optimizer.zero_grad()  # Reset gradients tensors

网络


class LSTMModel(nn.Module):
    def init_hidden(self, batch_size):
        self.batch_size = batch_size
        if torch.cuda.is_available():
            hn = torch.zeros(self.layer_dim, self.batch_size, self.hidden_dim).cuda()
            # Initialize cell state
            cn = torch.zeros(self.layer_dim, self.batch_size, self.hidden_dim).cuda()
        else:
            hn = torch.zeros(self.layer_dim, self.batch_size, self.hidden_dim)
            # Initialize cell state
            cn = torch.zeros(self.layer_dim, self.batch_size, self.hidden_dim)
        return hn, cn

    def __init__(self, input_dim, hidden_dim, layer_dim, output_dim, seq_dim):
        super(LSTMModel, self).__init__()
        # Hidden dimensions
        self.hidden_dim = hidden_dim

        # Number of hidden layers
        self.layer_dim = layer_dim

        self.input_dim = input_dim
        # Building your LSTM
        # batch_first=True causes input/output tensors to be of shape
        # (batch_dim, seq_dim, feature_dim)
        self.lstm = nn.LSTM(self.input_dim, hidden_dim, layer_dim, batch_first=True)

        # Readout layer
        self.fc = nn.Linear(hidden_dim, output_dim)
        self.relu = nn.ReLU()
        self.softmax = nn.Softmax(dim=1)
        self.seq_dim = seq_dim

    def forward(self, inputs):
        # Initialize hidden state with zeros
        input, (hn, cn) = inputs
        input = input.view(-1, self.seq_dim, self.input_dim)

        # time steps
        out, (hn, cn) = self.lstm(input, (hn, cn))

        # Index hidden state of last time step
        out = self.fc(out[:, -1, :])
        out = self.softmax(out)
        return out, (hn,cn)

标签： pytorchloss-functionimbalanced-datalstm-stateful

解决方案

您可能遇到的一个问题是CrossEntropyLoss将对数 softmax 操作与负对数似然损失相结合，但您在模型中应用了 softmax。您应该将原始 logits 从最后一层传递到CrossEntropyLoss.

我也不能说没有看到模型前向传递，但看起来你正在将维度 1 上的 softmax 应用于（我在推断）具有 shape 的张量batch_size, sequence_length, output_dim，当你应该沿着输出昏暗应用它时。

推荐阅读