numpy - TFRecord 读取和内存使用情况

Question

我有一个关于阅读 TFRecord 的简单问题：

假设您有一个包含 10 个特征的记录 - 每个特征都是大型 numpy 数组。当您读取记录时，是否所有 10 个 numpy 数组都加载到内存中？还是仅在您读取该特定功能时才将功能加载到内存中-允许我读取 1 个功能而从不将其他 9 个数组加载到内存中？

谢谢！

标签： numpytensorflowmemorytfrecord

Answer 1

不，您不必将 TFRecord 文件中存在的所有功能加载到内存中。

您可以通过使用自定义功能描述进行解析来进行选择：https ://www.tensorflow.org/tutorials/load_data/tfrecord#reading_a_tfrecord_file