python-3.x - 高效使用 Numpy 以行块的形式进行处理
问题描述
我需要遍历一组唯一帐户(下面示例代码中的 AccountID)并计算每个唯一 AccountID 的功能选择(当前仅显示 TargetCol 作为示例)。实际上,我正在将 csv 文件作为 Pandas 数据帧(1M 行)读取,然后转换为 Numpy 记录数组,以便我仍然可以在循环中引用标题名称。我解决这个问题的方法是为每个唯一的 AccountID 创建一个切片,为每个切片计算 TargetCol,然后将这些切片连接在一起。
我下面的代码工作正常,但我很确定它可以以更有效的方式完成(高效是指减少处理时间)。
%%time
import pandas as pd
import numpy as np
from numpy.random import randn
x=300 #make x higher to test more records
df = pd.DataFrame(randn(x,3),columns=['AccountID','Bcol','Ccol'])
for m,row in df.iterrows():
df.loc[m,'AccountID'] = np.random.randint(int(x/10))
df.loc[m,'Bcol'] = np.int(np.random.uniform(low=0.0, high=1000.0, size=None))/10000
df.loc[m,'Ccol'] = np.int(np.random.uniform(low=0.0, high=1000.0, size=None))/10000
df['TargetCol']=np.nan
dfnum = df.to_records(index=False)
dfnum = np.sort(dfnum, order=['AccountID'])
pd.DataFrame(dfnum)
uniquelist = np.unique(dfnum['AccountID'])
for u in range(0,len(uniquelist)):
dfslice = dfnum[dfnum['AccountID'] == uniquelist[u]]
for i in range(0,len(dfslice)):
if (len(dfslice) - i) >= 6:
dfslice['TargetCol'][i] = np.nansum(dfslice['Bcol'][i:i+6]) / dfslice['Ccol'][i]
else:
dfslice['TargetCol'][i] = np.NaN
if u==0:
dfconcat = dfslice
else:
dfconcat = np.concatenate((dfconcat, dfslice),axis=0)
pd.DataFrame(dfconcat)
解决方案
IIUC 我认为你需要:
import pandas as pd
df = pd.DataFrame({'AccountID': [1, 1, 1, 2, 1, 2, 1, 2, 2],
'RefDay': [1, 2, 3, 1, 4, 2, 5, 3, 4],
'BCol': [1., 2., np.nan, 1., 3., 2., 1., np.nan, 2.] ,
'CCol': [3., 2., 3., 1., 3., 4., 5., 2., 1.] })
df = df.sort_values(by=['AccountID','RefDay']).reset_index(drop=True)
# Replace with 6 in real data
periods = 3
result = df.groupby('AccountID').apply(lambda g: g['BCol'].fillna(0).rolling(periods).sum().shift(-periods + 1) / g['CCol'])
df['TargetColumn'] = result.sortlevel(1).values
print(df)
输出:
AccountID BCol CCol RefDay TargetColumn
0 1 1.0 3.0 1 1.000000
1 1 2.0 2.0 2 2.500000
2 1 NaN 3.0 3 1.333333
3 1 3.0 3.0 4 NaN
4 1 1.0 5.0 5 NaN
5 2 1.0 1.0 1 3.000000
6 2 2.0 4.0 2 1.000000
7 2 NaN 2.0 3 NaN
8 2 2.0 1.0 4 NaN
推荐阅读
- java - 在android studio中的按钮上显示带有计时器的锁定按钮
- mapbox - 单击开始导航时 Mapbox 导航崩溃
- windows - 带有 PID 的杀死进程的 Windows 模拟
- javascript - jQuery,动画仅适用于 1 张图片
- python - 2 个混淆矩阵,1 个颜色条
- apache-spark-sql - spark-sql 中的日期转换
- c - C 到 Mips 转换嵌套函数哪些寄存器保存在堆栈上?
- sql - 将时间戳分解为每天的小时间隔
- c# - Unity Google Play 排行榜 UI 崩溃
- ionic-framework - Ionic - 将默认样式更改为 Android 样式而不是 Ios 样式