python - 为什么 keras 中的 model.fit 函数显着增加 RAM 内存？

Question

我使用 open_memmap 函数加载我的数据，它需要 5GB RAM 内存。然后我编译具有参数的模型：89,268,608，它不占用任何 RAM 内存。目前我的批量大小为 200，输入图像的形状为 (300,54,3)。

我的问题是当我在 keras 中调用 model.fit 函数时，我的 RAM 内存从 5 GB 增加到 24GB。我的问题是为什么？

当我尝试使用不同的批量大小时，什么都没有改变，仍然占用了 23 GB 的 RAM？

如果有人可以向我解释发生了什么，我将不胜感激，

谢谢！

标签： pythontensorflowkeras

Answer 1

Keras 的fit方法一次将所有数据加载到内存中，这意味着更改批量大小不会影响它占用的 RAM。看看使用专为大型数据集设计的fit_generator 。