python - 如何从头开始训练 gpt 2?
问题描述
我想从头开始训练 gpt 2,但我发现的文章中只有基于预训练模型的微调方法。我已经使用这个https://github.com/nshepperd/gpt-2来训练现有模型。我应该编辑这些 Python 脚本以从头开始训练吗?
解决方案
我在这个 repo 的“问题”中找到了答案https://github.com/nshepperd/gpt-2
如果您根本不想使用已发布的模型,例如因为您想训练具有不兼容的超参数的模型,则只需跳过从已发布模型检查点(在 train.py:164-177 附近)恢复就足够了你的第一次运行,所以参数都将被随机初始化。
推荐阅读
- python - 使用 keras 模型的预测作为另一个 keras 模型中的层
- c# - 为什么有些控件需要依赖属性进行绑定,而有些则不需要?如何绑定 RichTextBox.Document?
- python - 为什么分配不适用于此 DataFrame
- c# - WebAPI - HTTP405: BAD METHOD - 使用的 HTTP 动词不支持使用 JavaScript
- amp-html - 在移动设备上搜索时未显示由 Google 编入索引的 AMP 页面
- java - Starter autoconfig bean 始终优先于自定义 autoconfig bean
- python-2.7 - Sendgrid 错误 - ValueError('请使用 To、Cc 或 Bcc 对象。',)
- python - RuntimeError:软件包安装失败,已回滚安装的依赖项
- java - @RestController autoserialize POJO's
- machine-learning - 在损失函数中使用 Flux (Julia) 中的分位数