tensorflow - TensorFlow 会自动并行化图计算吗？

Question

是否有资源说明他们如何以及是否准确地做到这一点？我很好奇是否在图中识别出依赖关系并相应地并行化。

https://www.tensorflow.org/tutorials/images/deep_cnn

https://www.tensorflow.org/deploy/distributed

https://www.tensorflow.org/guide/faq

https://github.com/google/seq2seq/issues/44

这些对我来说并不清楚，因为他们谈论手动操作，但似乎没有解释图形如何或是否自动并行化。

标签： tensorflowtensorflow-estimator

Answer 1

原因是 TensorFlow 没有提供将图分布到多个执行单元的自动机制，假设开发人员自己这样做。但是，它显然会跟踪图表中的所有依赖关系，因此如果您手动执行此操作，它将确保以正确的顺序计算事物。

如果您想开箱即用分布式/多 GPU 功能，请查看张量包：https ://github.com/tensorpack/tensorpack