时间戳

首页 > 解决方案 > 如果多个大文本文件太大而无法单独转换，如何将它们转换为一个 CSV 文件？

python - 如果多个大文本文件太大而无法单独转换，如何将它们转换为一个 CSV 文件？

问题描述

我有几个大的 .text 文件，我想将它们合并到一个 .csv 文件中。但是，每个文件都很大，无法单独导入 Excel，更不用说一起导入了。

我想创建一个使用 pandas 来分析数据，但不知道如何将文件全部放在一个地方。

我将如何将数据直接读入 Python，或读入 Excel 以获取 .csv 文件？

有问题的数据是FEC 网站上的2019-2020 年个人贡献文件。

标签： pythonexport-to-csv

解决方案

您可以将每个文件转换为 csv 并将它们连接成一个最终的 csv 文件

import pandas as pd
csv_path = 'pathtonewcsvfolder'                    # use your path
all_files=os.listdir("path/to/textfiles")
x=0
for filename in all_files:
    df = pd.read_fwf(filename)
    df.to_csv(os.path.join(csv_path,'log'+str(x)+'.csv'))
    x+=1
all_csv_files = glob.iglob(os.path.join(csv_path, "*.csv"))

converted_df=pd.concat((pd.read_csv(f) for f in all_csv_files), ignore_index=True)
converted_df.to_csv('converted.csv')

推荐阅读