时间戳

首页 > 解决方案 > 从 pandas 数据帧计算平均数据并写入 csv

python - 从 pandas 数据帧计算平均数据并写入 csv

问题描述

我有一个非常大的空间数据集存储在数据框中。我将该数据帧的一部分放入一个新的较小子集中以运行进一步的计算。数据具有 x、y 和 z 坐标以及许多附加列，其中一些是文本，一些是数字。x 和 y 坐标位于定义的网格上，并且具有已知的间距。数据看起来像这样

x,y,z,text1,text2,text3,float1,float2
75000,45000,120,aa,bbb,ii,12,0.2
75000,45000,110,bb,bbb,jj,22,0.9
75000,45100,120,aa,bbb,ii,11,1.8
75000,45100,110,bb,bbb,jj,45,2.4
75000,45100,100,bb,ccc,ii,13.6,1
75100,45000,120,bb,ddd,jj,8.2,2.1
75100,45000,110,bb,ddd,ii,12,0.6

对于每个 x 和 y 对，我想遍历两个系列的文本值并在 z 方向上做三件事。

  1. 计算具有第三个特定文本值的所有值的一个数值的平均值
  2. 对具有相同文本值的所有值求和另一个数值
  3. 将 'x, y, average, sum' 的结果表写入 csv。

我的代码执行第三部分（尽管速度很慢），但没有计算 1 或 2，或者至少我似乎没有在输出中得到平均值和总和计算。

我做错了什么，如何加快速度？

    for text1 in text_list1:
        for text2 in text_list2:
            # Get the data into smaller dataframe
            df = data.loc[ (data["textfield1"] == text1) & (data["textfield2"] == text2 ) ]
                
            #Get the minimum and maximum x and y 
            minXw = df['x'].min()
            maxXw = df['x'].max()
            minYw = df['y'].min()
            maxYw = df['y'].max()
            
            # dictionary for quicker printing
            dict_out  = {}
            rows_list = []
            
            # Make output filename
            filenameOut = text1+"_"+text2+"_Values.csv"
            # Start looping through x values
            for x in np.arange(minXw, maxXw, x_inc):
                xcount += 1
                # Start looping through y values
                for y in np.arange(minYw, maxYw, y_inc):
                    ycount += 1
                    
                    # calculate average and sum
                    ave_val = df.loc[df['textfield3'] == 'text3', 'float1'].mean()
                    sum_val = df.loc[df['textfield3'] == 'text3', 'float2'].sum()

                    # Make Dictionary of output values
                    dict_out  = dict([('text1', text1), 
                                      ('text2', text2), 
                                      ('text3', df['text3']),
                                      ('x'    , x-x_inc),
                                      ('y'    , y-y_inc),
                                      ('ave'  , ave_val),
                                      ('sum'   , sum_val)])
                    rows_list_c.append(dict_out)

            # Write csv      
            columns = ['text1','text2','text3','x','y','ave','sum']
            with open(filenameOut, 'w') as csvfile:
                writer = csv.DictWriter(csvfile, fieldnames=columns)
                writer.writeheader()
                for data in dict_out:
                    writer.writerow(data)

我得到的 csv 给了我：

text1,text2,text3,x,y,ave,sum

text1,text2,,74737.5,43887.5,nan,0.0
text1,text2,,74737.5,43912.5,nan,0.0
text1,text2,,74737.5,43937.5,nan,0.0
text1,text2,,74737.5,43962.5,nan,0.0

标签： pythonpandasdataframeaverageexport-to-csv

解决方案

要在 pandas 中以有效的方式执行此操作，您将需要使用groupby,agg和内置to_csv方法，而不是使用循环来构造数据列表并使用模块for编写每个列表。csv像这样的东西：

groups = data[data["text1"].isin(text_list1) & data["text2"].isin(text_list2)] \
    .groupby(["text1", "text2"])

for (text1, text2), group in groups:
    group.groupby("text3") \
        .agg({"float1": np.mean, "float2": sum}) \
        .to_csv(f"{text1}_{text2}_Values.csv")

目前尚不清楚您要对x和y值的递增做什么，这也是使您当前的代码非常慢的原因。要按 和 的间隔显示浮点列的总和和平均值x，y您也可以制作 bin 列并按这些列分组。

data["x_bin"] = (data["x"] - data["x"].min()) // x_inc
data["y_bin"] = (data["y"] - data["y"].min()) // y_inc
groups = data[data["text1"].isin(text_list1) & data["text2"].isin(text_list2)] \
    .groupby(["text1", "text2"])

for (text1, text2), group in groups:
    group.groupby(["text3", "x_bin", "y_bin"]) \
        .agg({"x": "first", "y": "first", "float1": np.mean, "float2": sum}) \
        .to_csv(f"{text1}_{text2}_Values.csv")

推荐阅读