时间戳

首页 > 解决方案 > 循环遍历多个 CSV 文件并生成多个输出

python - 循环遍历多个 CSV 文件并生成多个输出

问题描述

我正在编写一些 python 脚本来打开一个 .csv 文件、定义数据框、运行一些分析（例如聚合数据、拆分列、查找平均值等）并将分析的输出绘制在图表上。输出将是一个图形（.png 文件）和一个 csv 文件，最后在原始文件名中添加了单词“_ANALYSIS”。

我已在 Jupyter Notebook 中将其设置为循环函数：

#import multiple csv files

import glob
import pandas as pd
import numpy as np
from pytz import all_timezones
import matplotlib.pyplot as plt

files = glob.glob('folder/*.csv')
for file in files:
    df = pd.read_csv(file)

    #START OF THE ANALYSIS
    #Multiple lines of code starts here


    #GRAPH some outputs from the analysis
    df2 = df.replace(0, np.nan)
    fig, ax = plt.subplots()
    df2.groupby('Day_type').plot(x = 'Time', y = 'avg_vt', ax=ax, grid=True)


    #OUTPUT FILES: graph + csv file
    plt.savefig('*.png', index = False)
    file_name="file"+str(i+1)+"_ANALYSIS"
    df.to_csv('file1_ANALYSIS.csv', index = False)

不幸的是，它没有产生任何输出。分析代码本身没有问题，因为我在添加循环功能之前尝试过。

谢谢，R

标签： pythonloopscsvdataframejupyter-notebook

解决方案

使用 pathlib 稍微优雅一些

from pathlib import Path

folder="C:\Users\Renaldo.Moonu\Desktop\folder name"
for file in Path(folder).glob('*.csv'):
    df = pd.read_csv(file)
    df.fillna(0, inplace=True)
    fig, ax = plt.subplots()
    df.groupby('Day_type').plot(x = 'Time', y = 'avg_vt', ax=ax, grid=True)

    plt.savefig(file.with_suffix('.png'), index = False)
    df.to_csv(file.with_suffix('.csv'), index = False)

推荐阅读