时间戳

首页 > 解决方案 > 从子目录中搜索 CSV 并将文件夹名称添加为列

python - 从子目录中搜索 CSV 并将文件夹名称添加为列

问题描述

我想从我的工作目录中的不同子目录中读取 csv 以创建一个组合的 csv 文件。组合的 csv 应该有一列包含从中读取特定 csv 的子目录名称。

这是我尝试过的。

import os
import glob
import pandas as pd

all_filenames = [i for i in glob.glob('*/*.csv'),recursive=True)]
list_subfolder = [f.name for f in os.scandir(ride_path) if f.is_dir()]

df_list = []

for i in range(len(all_filenames)):
    dir_name = list_subfolder[i]
    current_csv = all_filenames[i]
    data = pd.read_csv(current_csv)
    data["sub_folder"]= dir_name
    df_list.append(data)

combined_df = pd.concat(df_list)
combined_df.to_csv("combined_csv.csv", index=False)

问题在于，它添加了其中没有 csvs' 的子目录，这是错误且有问题的。实现这一权利的最佳方法是什么。

标签： pythonpandasdataframecsvglob

解决方案

您可以通过pathlib模块执行此操作：

from pathlib import Path

inp_path =  Path('.') # specify the inp path. Here, ('.') means current working dir
df_list= []

for csv_file in inp_path.glob('**/*.csv'): # glob here will return generator obj which will yield csv file one by one
    df = pd.read_csv(csv_file)
    df['file_name'] = csv_file.parent # possible to get parent dir via pathlib
    df_list.append(df_list)


combined_df = pd.concat(df_list)
combined_df.to_csv("combined_csv.csv", index=False)

Note.

1- csv_file.parent.name如果您只需要名称，请使用。

2- csv_file.parent.absolute()如果您想要父目录的完整路径，请使用。

推荐阅读