python - 是否设置`torch.backends.cudnn.benchmark = True`？

Question

我正在使用 pytorch，我想知道是否应该使用torch.backends.cudnn.benchmark = True. 我在谷歌上发现当计算图没有改变时我应该使用它。什么是pytorch中的计算图？

标签： pythonpytorch

Answer 1

如果您的模型没有改变并且您的输入大小保持不变，那么您可能会从设置中受益torch.backends.cudnn.benchmark = True。
但是，如果您的模型发生更改：例如，如果您的图层仅在满足某些条件时才“激活”，或者您在循环内有可以迭代不同次数的图层，那么设置torch.backends.cudnn.benchmark = True可能会停止您的执行。