deep-learning - PyTorch：如何根据每个 GPU 的性能分配训练工作？

问题描述

我遇到了尝试用两个 GPU 训练神经网络的问题。一个是 Nvidia 1070，另一个是 Nvidia 2070。显然，2070 比 1070 快，所以如果我在它们每个中投入相同数量的训练样本，1070 将成为减慢训练过程的瓶颈。

我想要做的是让这两个 GPU 做不同数量的工作。例如，如果我的批量大小为 100，我希望我的 2070 卡处理其中的 80%，我的 1070 卡处理其中的 20%。PyTorch 提供的现有 API 可以做到这一点吗？PyTorch似乎不支持这一点DataParallel。DistributedDataParallel

标签： deep-learningpytorchgpu

deep-learning - PyTorch：如何根据每个 GPU 的性能分配训练工作？

问题描述

解决方案

推荐阅读