azure-machine-learning-service - 是否可以将 DistributedDataParallel 与 PyTorch Estimator 一起使用

Question

我们知道 Horovod 是受支持的。是否有使用 DistributedDataParallel 和 Pytorch 估计器的示例脚本？

标签： azure-machine-learning-service

Answer 1

除了带有 Horovod 的 MPI 之外，您还应该能够将 nccl 或 gloo 指定为分布式数据并行后端。请参阅PyTorch Estimator的Distributed_training参数。