python - 使用熊猫数据框耗尽内存

Question

我的代码如下所示：

import pandas as pd
import os
import glob
import numpy as np

# Reading files and getting Dataframes

PathCurrentPeriod = '/home/sergio/Documents/Energyfiles'
allFiles = glob.glob(PathCurrentPeriod + "/*.csv")
frame = pd.DataFrame()

list_ = []

for file_ in allFiles:
    df = pd.read_csv(file_) 
    list_.append(df)

frame = pd.concat(list_, axis='rows')

但是，文件大约有 300 个。我想当我在 VSCode 上运行它时，我会从终端得到一个“被杀死”的响应，因为尝试将这 300 个文件存储在“框架”上可能会导致我运行它的虚拟机去RAM 内存不足。

有解决办法吗？是否可以将硬盘驱动器用作处理内存或RAM？

问题不在于每个 .csv 的大小本身，所以我可以按块读取它们......问题是我附加了太多。

标签： pythonpandascsvram