时间戳

首页 > 解决方案 > 如何在 Pytorch 模型中添加验证和测试集？

python - 如何在 Pytorch 模型中添加验证和测试集？

问题描述

Model ANN( X = [1000,3] , Y = [1000,8] )我有一个隐藏的非线性回归Layer(Nh = 6)。

如何在此模型中添加验证（10% 数据集）和测试集（10% 数据集）？

模型 ：

N, D_in, H, D_out = x.shape[0], x.shape[1], 6, y.shape[1]

model = nn.Sequential(OrderedDict([ ('fc1', nn.Linear(D_in, H)), 
                                    #('Sig', nn.Sigmoid()),
                                    ('ISRU', ISRU()), # Add ISRU
                                    ('fc2', nn.Linear(H, D_out))]))

# Error -----
loss_fn = torch.nn.L1Loss(reduction='mean')

# Train -----
optimizer = torch.optim.Adam(model.parameters(), lr=1,eps=2**(-EPS))
epoch = 250
for t in range(epoch):
    # Forward pass: compute predicted y by passing x to the model.
    clear_output(wait=True)
    y_pred = model(X)

    # Compute and print loss.
    loss = loss_fn(y_pred, Y)
    if t % 100 == 99:
        print(t, loss.item())

    optimizer.zero_grad() ;
    loss.backward() ;
    optimizer.step() ;
if loss.item() < diff : lista = np.vstack((lista, [loss.item(),2,EPS])) ; diff = loss.item()

标签： pythonpython-3.xpytorchjupyter-lab

解决方案

数据的训练/验证/测试拆分与模型“正交”。

要管理用于训练/测试的数据，您可能需要使用 pytorch 的TensorDataset. 然后，您可能会发现Subset将数据集拆分为训练/验证/测试子集很有用。

推荐阅读