tensorflow - 有没有使用多节点多GPU进行分布式TensorFlow训练的例子？

Question

通过谷歌搜索，我可以找到以下两种关于tensorflow训练的部署：

• 在单个节点和多个 GPU 上进行训练，例如CNN；
• 多个节点上的分布式训练，例如图间副本训练；

有没有使用多节点多GPU的例子？具体来说，存在两个级别的并行性：

1. 第一层，参数服务器和worker分布在不同的节点上；
2. 第二层，单台机器上的每个worker将使用多个GPU进行训练；

标签： tensorflowdeep-learning

Answer 1

GitHub 上的 Tensorflow Inception 模型文档（链接）对不同类型的训练有很好的解释，请务必查看它及其源代码。

此外，您可以查看这段代码，它也确实以稍微不同的方式分发培训。