首页 > 解决方案 > Pandas read_csv 大文件将每一列合二为一

问题描述

我有一个csv 文件,我正在尝试通过 pandas 命令 read_csv 读取它。但是,我没有读取 5 行和 21 列,而是得到以下输出: 在此处输入图像描述

有一种可能的解决方案是手动更改文件的错误格式,但是实际大小非常大(大约 1GB)并且无法手动更改。

标签: pythonpandascsv

解决方案


考虑以下解决方案:

df = pd.read_csv("test.csv", sep="\"\,\"")
data = pd.concat([df.iloc[:,0].str.split(',', expand=True).rename(columns=dict(zip([0,1], df.columns[0].split(',')))), df.iloc[:,1:]], axis=1)

将返回(5,21).data


推荐阅读