python - 如何在同一台机器上的不同 GPU 上并行运行多个 TensorFlow 实例？

Question

假设我并行启动以下命令，在同一台机器上同时训练多个 TensorFlow 模型：

• python3 launch_training.py --gpu 0
• python3 launch_training.py --gpu 1
• python3 launch_training.py --gpu 2
• python3 launch_training.py --gpu 3
• python3 launch_training.py --gpu 4
• python3 launch_training.py --gpu 5
• python3 launch_training.py --gpu 6
• python3 launch_training.py --gpu 7

让我们假设在 内部launch_training.py，创建了一个 TensorFlow 图和会话，并具有以下上下文：with tf.device('/gpu:0'):，其中0被正确的--gpu索引参数替换）。

这行得通吗？如果没有，我必须采取哪些步骤才能完成这项工作？在租用 GPU 之前，我想知道这一点。

标签： pythonpython-3.xtensorflow

Answer 1

您必须指定一个 gpu 设备，with tf.device('gpu:N')其中N设备索引在哪里。首先 阅读https://www.tensorflow.org/programmers_guide/using_gpu和https://github.com/carla-simulator/carla/issues/116

我认为您对在不同的 GPU 上多次运行相同的脚本和使用多个 GPU 运行一个脚本感到困惑。对于前一种情况，请阅读 TensorFlow 指南的“在多 GPU 系统上使用单个 GPU”部分，对于后者“使用多个 GPU”。