时间戳

首页 > 解决方案 > 反向传播期间的 PyTorch“NCCL 错误：未处理的系统错误”

python - 反向传播期间的 PyTorch“NCCL 错误：未处理的系统错误”

问题描述

我正在尝试使用 PyTorch 进行分布式培训，但遇到了问题。此运行时错误发生在反向传播期间（第一批，第一个时期）。

  File "/home/user/anaconda3/lib/python3.7/runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "/home/user/anaconda3/lib/python3.7/runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "/home/user/anaconda3/lib/python3.7/site-packages/mpi4py/__main__.py", line 7, in <module>
    main()
  File "/home/user/anaconda3/lib/python3.7/site-packages/mpi4py/run.py", line 196, in main
    run_command_line(args)
  File "/home/user/anaconda3/lib/python3.7/site-packages/mpi4py/run.py", line 47, in run_command_line
    run_path(sys.argv[0], run_name='__main__')
  File "/home/user/anaconda3/lib/python3.7/runpy.py", line 263, in run_path
    pkg_name=pkg_name, script_name=fname)
  File "/home/user/anaconda3/lib/python3.7/runpy.py", line 96, in _run_module_code
    mod_name, mod_spec, pkg_name, script_name)
  File "/home/user/anaconda3/lib/python3.7/runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "project/main.py", line 115, in <module>
    trainer.run(config["epochs"])
  File "/home/user/project/trainer/trainer.py", line 107, in run
    self.run_epoch()
  File "/home/user/project/trainer/trainer.py", line 70, in run_epoch
    loss.backward()
  File "/home/user/anaconda3/lib/python3.7/site-packages/torch/tensor.py", line 107, in backward
    torch.autograd.backward(self, gradient, retain_graph, create_graph)
  File "/home/user/anaconda3/lib/python3.7/site-packages/torch/autograd/__init__.py", line 93, in backward
    allow_unreachable=True)  # allow_unreachable flag
RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:272, unhandled system error

我使用 MPI 进行自动排名分配，使用 NCCL 作为主要后端。初始化是通过共享文件系统上的文件完成的。每个进程使用 2 个 GPU，进程在不同的节点上运行。环境变量NCCL_SOCKET_IFNAME已设置。以前，此代码运行良好:(

有谁知道为什么会发生这个错误？

UPD 13/05/19：取得了进展。最初在模型初始化时发生错误，现在在第一次向后传递时发生。

标签： pythonpytorchdistributed-computing

解决方案

unhandled system error意味着在 NCCL 方面存在一些潜在的错误。您应该首先使用 重新运行您的代码NCCL_DEBUG=INFO。然后从调试日志中找出错误是什么（尤其是日志中的警告）。

Pytorch“NCCL 错误”中给出了一个示例：未处理的系统错误，NCCL 版本 2.4.8”

推荐阅读