python - Keras 可以预取 tensorflow Dataset 之类的数据吗？

Question

在 TensorFlow 的 Dataset API 中，我们可以dataset.prefetch(buffer_size=xxx)在 GPU 处理当前批次的数据的同时预加载其他批次的数据，因此，我可以充分利用 GPU。

我将使用 Keras，想知道是否keras有类似的 API 让我充分利用 GPU，而不是串行执行：读取批处理 0->处理批处理 0->读取批处理 1->处理批处理 1->。 ..

我简要浏览了kerasAPI 并没有看到预取的描述。

标签： pythontensorflowkerasdataset

Answer 1

如果您调用> 1 fit_generator, workersuse_ multiprocessing=True，它将预取 queue_size 批次。

来自文档：max_queue_size：整数。生成器队列的最大大小。如果未指定，max_queue_size 将默认为 10。