python - Pytorch 在训练时变慢

Question

我正在为许多剧集训练像 DDPG 这样的 Actor-Critic 强化学习算法。然而，每一步的时间开始增加，然后保持在一个稳定的水平，如下图所示。

我首先以为我忘记了放入重播缓冲区（大小为 1e6 的双端队列元素）中的 .detach()/.item() 元素，因为它在其他一些 stackoverflow 帖子中列出，但事实并非如此。有没有人遇到过类似的情况，可以指出我在哪里寻找原因？

标签： pythonpytorchreinforcement-learning