azure - 使用带有 GPU 的 Azure 容器实例进行模型训练比使用相同容器进行本地测试慢得多

Question

我正在尝试使用我构建的包含暗网安装的容器来训练 Yolo 计算机视觉模型。该容器使用 Nvidia 提供的基本映像：nvcr.io/nvidia/cuda:9.0-devel-ubuntu16.04

在我的本地机器上使用 Nvidia-Docker 和 gtx 1080 ti，训练运行得非常快，但是同样的容器作为具有 P100 gpu 的 Azure 容器实例运行的训练速度非常慢。就好像它没有使用gpu一样。我还注意到“nvidia-smi”命令在 Azure 中运行的容器中不起作用，但是当我 ssh 进入在我的机器上本地运行的容器时它确实起作用。

这是我正在使用的 Dockerfile

FROM nvcr.io/nvidia/cuda:9.0-devel-ubuntu16.04
LABEL maintainer="[e-mail]" \
      description="Pre-Configured Darknet Machine Learning Environment" \
      version=1.0

# Container Dependency Setup
RUN apt-get update
RUN apt-get upgrade -y
RUN apt-get install software-properties-common -y
RUN apt-get install vim -y
RUN apt-get install dos2unix -y
RUN apt-get install git -y
RUN apt-get install wget -y
RUN apt-get install python3-pip -y
RUN apt-get install libopencv-dev -y

# setup virtual environment
WORKDIR /
RUN pip3 install virtualenv
RUN virtualenv venv
WORKDIR venv
RUN mkdir notebooks
RUN mkdir data
RUN mkdir output


# Install Darknet
WORKDIR /venv
RUN git clone https://github.com/AlexeyAB/darknet
RUN sed -i 's/GPU=0/GPU=1/g' darknet/Makefile
RUN sed -i 's/OPENCV=0/OPENCV=1/g' darknet/Makefile
WORKDIR /venv/darknet
RUN make

# Install common pip packages
WORKDIR /venv
COPY requirements.txt ./
RUN . /venv/bin/activate && pip install -r requirements.txt

# Setup Environment
EXPOSE 8888
VOLUME ["/venv/notebooks", "/venv/data", "/venv/output"]
CMD . /venv/bin/activate && jupyter notebook --ip=0.0.0.0 --port=8888 --allow-root

requirements.txt 文件如下图所示：

jupyter
matplotlib
numpy
opencv-python
scipy
pandas
sklearn

标签： azureyolodarknetazure-container-instancesnvidia-docker

Answer 1

问题是我的训练数据位于 Azure 文件共享卷上，网络延迟导致训练速度变慢。我将共享中的数据复制到我的容器中，然后将训练指向它，一切都运行得更快。