时间戳

首页 > 解决方案 > Bert 模型在 google colab 上给出 CUDA 内存不足错误

python - Bert 模型在 google colab 上给出 CUDA 内存不足错误

问题描述

我在这里使用下面的教程来训练和测试一个 Bertsequenceclassifier 模型，在 google 协作平台上使用显卡。我已经能够在 140,000 个条目上使用最大序列长度 380 成功训练和测试小型数据集。当我尝试在最大序列长度上训练中等数据集时，仅 1 个 epoch 为 512，并且仅在 10000 个条目上，我得到一个 CUDA 内存不足错误。当我将最大序列长度更改为 400 时，它可以训练模型。

我想显然是文件的长度导致了这种情况，但任何人都可以准确解释为什么会发生这种情况以及是否有任何方法可以解决这个问题。谢谢

运行时错误：CUDA 内存不足。尝试分配 20.00 MiB（GPU 0；15.90 GiB 总容量；15.15 GiB 已分配；7.88 MiB 空闲；44.38 MiB 缓存）

标签： pythontensorflowpytorchgoogle-colaboratorybert-language-model

解决方案

推荐阅读