python - 我们可以用python生成器读取pickle文件中的数据吗

Question

我有一个大的泡菜文件，我想从泡菜文件加载数据来训练深度学习模型。如果我可以使用生成器为每个键加载数据，有什么办法吗？数据在 pickle 文件中以字典的形式出现。我正在使用pickle.load(filename)，但我担心它在运行模型时会占用太多内存。我pickle.HIGHEST_PROTOCOL最初将数据转储到泡菜文件中。

标签： pythonpython-3.xgeneratorpickle

Answer 1

没有。pickle 文件格式不像 JSON 或其他格式，您可以只读取其中的一部分并逐步解码。泡菜文件是构建 Python 对象的指令列表，就像按照一半的指令烤蛋糕不会烤出半块蛋糕一样，阅读半个泡菜不会给你一半的泡菜对象。