tensorflow - 为什么 tf.gfile.Glob 需要大量 RAM？

Question

我尝试从远程 hdfs 获取文件，我发现如果我调用 'tf.gfile.Glob'，它会花费我 10G RAM。

我该如何避免这种情况，因为我的输入管道是多处理的，并且我需要尽可能多的进程才能足够快地获取远程 tfrecord！

标签： tensorflow

Answer 1

这是我前段时间报告的一个错误：https ://github.com/tensorflow/tensorflow/issues/23733

某些版本的 Tensorfow 会受到影响。由 Archlinux 中的 tensorflow 包维护人员编译的一个，我发现在 cuda 环境中安装 tensorflow 时也会发生这种情况。

因此：如果您使用 conda，请尝试更改 tensorflow 版本/您使用的环境。