tensorflow - tfrecord 文件的最佳大小

Question

根据您的经验，最适合在各种设备（硬盘、ssd、nvme）和存储位置（本地计算机、具有网络挂载的 hpc 集群）上运行的 .tfrecord 文件的理想大小是多少？

如果我在云中技术更强大的计算机上的性能比在本地 PC 上更慢，那么 tfrecord 数据集的大小是否会成为瓶颈的根本原因？

谢谢

标签： tensorflowtensorflow-datasets

Answer 1

Tensorflow 官方网站推荐 ~100MB ( https://docs.w3cub.com/tensorflow~guide/performance/performance_guide/ )

读取大量小文件会显着影响 I/O 性能。获得最大 I/O 吞吐量的一种方法是将输入数据预处理为更大的 (~100MB) TFRecord 文件。对于较小的数据集（200MB-1GB），最好的方法通常是将整个数据集加载到内存中。