pytorch - 如何在 pytorch 网站上理解这一点?
问题描述
我在 pytorch 官方网站上注意到了这一点:https ://pytorch.org/docs/stable/nn.html
如果满足以下条件:
1) cudnn 已启用,
2) 输入数据在 GPU 上,
3) 输入数据有 dtype torch.float16,
4) 使用 V100 GPU,并且
5) 输入数据不是 PackedSequence 格式。
然后,可以选择持久性算法来提高性能。
谁能解释一下?谢谢。
解决方案
这是指对 GPU 缓存使用的非常低级别的性能优化,这里有更深入的解释(注意:这不是 PyTorch 材料,但我相信它在解释方面做得足够好)。换句话说,如果所有的子弹都满足,PyTorch 将默认使用不同的算法,希望能提供更高的RNN
性能。