python - 使用 Transformer 进行时间序列预测

Question

我正在尝试将nn.Transformer用于时间序列预测问题。但我无法弄清楚tgt变压器的输入。假设我有一个时间序列

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20

我正在使用长度为 6 点的历史窗口来预测接下来的 3 点。编码器的输入或src将是1, 2, 3, 4, 5。我想预测6, 7, 8。tgt在这种情况下会是什么？我需要使用任何面膜吗？它在测试时如何工作，即当我们只有输入窗口而不是要预测的点的实际值时？

此外，在初始化nn.Transformer. 我在做：

model = nn.Transformer(d_model=1, nheads=8)

这个对吗？自从我使用d_model=1的时间序列没有协变量以来，我就一直使用它。然而，这给出了一个错误，即特征的数量应该是注意力头数量的倍数。初始化它的正确方法是什么？

标签： pythondeep-learningnlptime-seriestransformer