pytorch-lightning - Pytorch 嵌入对于 GPU 来说太大但适合 CPU
问题描述
我正在使用 PyTorch 闪电，所以闪电控制 GPU/CPU 分配，作为回报，我可以轻松获得多 GPU 支持来进行训练。
我想创建一个不适合 GPU 内存的嵌入。
fit_in_cpu = torch.nn.Embedding(too_big_for_GPU, embedding_dim)
然后当我为一批选择子集时，将其发送到 GPU
GPU_tensor = embedding(idx)
我如何在 Pytorch Lightning 中做到这一点？
解决方案
推荐阅读
- javascript - How to Javascript to replace HTML text with new text when the HTML may have children elements
- unity3d - Unity 相机抖动/玩家传送
- javascript - Eslint glob (**) 没有递归地考虑所有目录
- multithreading - C++ Visual Studio 2017 表单。如何从单独的线程更新和刷新标签
- ios - Firestore - 使用子集合添加文档的单一操作
- java - java - 无法将多个数据插入数据库
- ember.js - ember-cli-eslint, ember-cli-stylelint to run automatically only if desired
- python - 熊猫分组但保留另一列
- c# - WPF DataContext 未通过控件树下的自定义控件转发
- python - 即使我的 HTML 文件在预览时可以显示，Flask 也不显示图像