python - `tf.distribute.MirroredStrategy` 对训练结果有影响吗？

Question

我不明白这是否MirroredStrategy对训练结果有任何影响。

我的意思是：在单个设备上训练的模型是否与在多个设备上训练的模型相同？

我认为它应该是同一个模型，因为它只是梯度的分布式计算，不是吗？

标签： pythontensorflowdistributed-training

Answer 1

是的，在单个 GPU 和多个 GPU（在单个机器上）上训练的模型是相同的。也就是说，模型中的变量会根据文档在所有 GPU 上进行复制和同步。