pytorch - 尽管有足够的可用内存，但 PyTorch GPU 内存不足

Question

我正在尝试使用 PyTorch 微调用于文本分类的 Transformers 语言模型。但是，我收到以下内存错误：

CUDA out of memory. Tried to allocate 578.00 MiB (GPU 2; 10.76 GiB total capacity; 2.79 GiB already allocated; 6.55 GiB free; 3.24 GiB reserved in total by PyTorch

我很困惑，因为根据错误消息我肯定有足够的内存。我还尝试在内存少一点的不同 GPU 上以及在数据少得多的 CPU 上训练模型来检查我的代码，并且两个版本都运行良好（但不能用于完整训练）。将批量大小设置为 16 时，它也已经适用于不同的 Transformers 模型。我还想避免进一步减小批量大小，因为我已经 16 岁了。有谁知道为什么会发生错误？提前致谢！

标签： pytorchruntime-errorout-of-memoryhuggingface-transformers