google-colaboratory - colab 截断包含超过 20 万个文件的文件夹

Question

当我们从 colab 读取 gdrive 时，每个文件夹允许的最大文件数是多少？我从 colab 创建了一个超过 200k 的文件夹，在创建后运行“ls”命令，一切正常，但每次我关闭会话并再次打开它（重新挂载 gdrive）时，该文件夹都会被截断。无法再读取这个数量实际上不超过 20k，需要重新创建/解压缩文件夹。该文件夹包含用于训练 DL 模型的图像。

标签： google-colaboratory

Answer 1

更新：我正在从我创建文件夹的笔记本上运行 drive.flush_and_unmount()（不关闭会话）并且运行顺利。从另一个笔记本我控制文件夹内的文件数量（同一个文件夹，但来自另一个笔记本），似乎数量开始缓慢增加，所以看起来解决方案正在运行 drive.flush_and_unmount() 强制同步到 gdrive 但还不确定在关闭会话并再次重新打开后是否会同步文件夹。会让你知道！至少这是进步