tensorflow - 使用 fit_generator() 的分布式张量流

Question

是否可以以分布式方式使用 Tensorflow 并使用 fit_generator()？到目前为止，在我的研究中，我还没有看到任何关于如何做到这一点或是否可行的信息。如果不可能，那么当所有数据都无法放入内存时，使用分布式 Tensorflow 的一些可能解决方案是什么。

标签： tensorflowkerasdistributed-computing

Answer 1

在张量流分布范围内使用 fit_generator() 是不可能的。看看tf.data。我将我所有的 Keras ImageDataGenerators 重写为张量流数据管道。不需要太多时间，更透明，速度也非常快。