python - Pandas - 在子集数据帧上调用用户定义的函数
问题描述
我正在 Pandas DataFrame 的子集上创建一个计数函数,并打算导出仅包含 groupby 标准和计数结果的字典/电子表格数据。
In [1]: df = pd.DataFrame([[Buy, A, 123, NEW, 500, 20190101-09:00:00am], [Buy, A, 124, CXL, 500, 20190101-09:00:01am], [Buy, A, 125, NEW, 500, 20190101-09:00:03am], [Buy, A, 126, REPLACE, 300, 20190101-09:00:10am], [Buy, B, 210, NEW, 1000, 20190101-09:10:00am], [Sell, B, 345, NEW, 200, 20190101-09:00:00am], [Sell, C, 412, NEW, 100, 20190101-09:00:00am], [Sell, C, 413, NEW, 200, 20190101-09:01:00am], [Sell, C, 414, CXL, 50, 20190101-09:02:00am]], columns=['side', 'sender', 'id', 'type', ''quantity', 'receive_time'])
Out[1]:
side sender id type quantity receive_time
0 Buy A 123 NEW 500 20190101-09:00:00am
1 Buy A 124 CXL 500 20190101-09:00:01am
2 Buy A 125 NEW 500 20190101-09:00:03am
3 Buy A 126 REPLACE 300 20190101-09:00:10am
4 Buy B 210 NEW 1000 20190101-09:10:00am
5 Buy B 345 NEW 200 20190101-09:00:00am
6 Sell C 412 NEW 100 20190101-09:00:00am
7 Sell C 413 NEW 200 20190101-09:01:00am
8 Sell C 414 CXL 50 20190101-09:02:00am
计数函数如下(mydf 作为数据帧的子集传入):
def ordercount(mydf):
num = 0.0
if mydf.type == 'NEW':
num = num + mydf.qty
elif mydf.type == 'REPLACE':
num = mydf.qty
elif mydf.type == 'CXL':
num = num - mydf.qty
else:
pass
orderdict = dict.fromkeys([mydf.side, mydf.sender, mydf.id], num)
return orderdict
从 csv 读取数据后,我按一些标准对其进行分组并按时间排序:
df = pd.read_csv('xxxxxxxxx.csv, sep='|', header=0, engine='python', names=col_names)
sorted_df = df.groupby(['side', 'sender', 'id']).apply(lambda_df:_df.sort_values(by=['time']))
然后对排序后的数据调用之前定义的函数:
print(sorted_df.agg(ordercount))
但是值错误不断上升,说要调用的行太多。
统计数据的函数方式可能效率不高,但它是我能想到的最直接的方式来匹配订单类型和相应的统计数量。我希望程序输出一个表,其中只显示边、发件人、ID 和计数的数量。有什么办法可以做到这一点?谢谢。
预期输出:
side sender total_order_num trade_date
0 Buy A 300 20190101
1 Buy B 1200 20190101
2 Sell C 250 20190101
解决方案
我相信您的功能不容易一次应用,因为您根据行执行不同的操作。如果您只拥有+
和-
作为您的操作,但您replace
在某个时候获得了价值,然后继续进行其他操作,这将是可以的。因此,循环可能会更简单,或者您可以花一些时间来拥有一个很好的函数来完成任务。
这就是我所拥有的。我真正做的只是改变你的ordercount
,让它直接在一个子集上运行,你可以通过简单的分组来获得。您可以在分组之前按时间排序,也可以在ordercount
函数中进行排序。希望这会有所帮助。
import pandas as pd
df = pd.DataFrame([['Buy', 'A', 123, 'NEW', 500, '20190101-09:00:00am'],
['Buy', 'A', 124, 'CXL', 500, '20190101-09:00:01am'],
['Buy', 'A', 125, 'NEW', 500, '20190101-09:00:03am'],
['Buy', 'A', 126, 'REPLACE', 300, '20190101-09:00:10am'],
['Buy', 'B', 210, 'NEW', 1000, '20190101-09:10:00am'],
['Buy', 'B', 345, 'NEW', 200, '20190101-09:00:00am'],
['Sell', 'C', 412, 'NEW', 100, '20190101-09:00:00am'],
['Sell', 'C', 413, 'NEW', 200, '20190101-09:01:00am'],
['Sell', 'C', 414, 'CXL', 50, '20190101-09:02:00am']],
columns=['side', 'sender', 'id', 'type', 'quantity', 'receive_time'])
df['receive_time'] = pd.to_datetime(df['receive_time'])
df['receive_date'] = df['receive_time'].dt.date # you do not need the time stamps
def ordercount(mydf):
mydf_ = mydf.sort_values('receive_time')[['type', 'quantity']].copy()
num = 0
for val in mydf_.values:
type_, quantity = val
# val is going to be a list like ['NEW', 500]. All I am doing above is unpack the list into two variables.
# You can find many resources on unpacking iterables
if type_ == 'NEW':
num += quantity
elif type_ == 'REPLACE':
num = quantity
elif type_ == 'CXL':
num -= quantity
else:
pass
return num
mydf = df.groupby(['side', 'sender', 'receive_date']).apply(ordercount).reset_index()
输出:
|----|--------|----------|---------------------|------|
| | side | sender | receive_date | 0 |
|----|--------|----------|---------------------|------|
| 0 | Buy | A | 2019-01-01 00:00:00 | 300 |
|----|--------|----------|---------------------|------|
| 1 | Buy | B | 2019-01-01 00:00:00 | 1200 |
|----|--------|----------|---------------------|------|
| 2 | Sell | C | 2019-01-01 00:00:00 | 250 |
|----|--------|----------|---------------------|------|
您可以根据需要轻松重命名列“0”。我仍然不确定你trade_date
是如何定义的。您的数据是否只有一个日期?当你有多个约会对象时会发生什么?你是在取款吗?...
编辑:如果您尝试使用此数据框,您可以看到日期按预期工作的组。
df = pd.DataFrame([['Buy', 'A', 123, 'NEW', 500, '20190101-09:00:00am'],
['Buy', 'A', 124, 'CXL', 500, '20190101-09:00:01am'],
['Buy', 'A', 125, 'NEW', 500, '20190101-09:00:03am'],
['Buy', 'A', 126, 'REPLACE', 300, '20190101-09:00:10am'],
['Buy', 'B', 210, 'NEW', 1000, '20190101-09:10:00am'],
['Buy', 'B', 345, 'NEW', 200, '20190101-09:00:00am'],
['Sell', 'C', 412, 'NEW', 100, '20190101-09:00:00am'],
['Sell', 'C', 413, 'NEW', 200, '20190101-09:01:00am'],
['Sell', 'C', 414, 'CXL', 50, '20190101-09:02:00am'],
['Buy', 'A', 123, 'NEW', 500, '20190102-09:00:00am'],
['Buy', 'A', 124, 'CXL', 500, '20190102-09:00:01am'],
['Buy', 'A', 125, 'NEW', 500, '20190102-09:00:03am'],
['Buy', 'A', 126, 'REPLACE', 300, '20190102-09:00:10am'],
['Buy', 'B', 210, 'NEW', 1000, '20190102-09:10:00am'],
['Buy', 'B', 345, 'NEW', 200, '20190102-09:00:00am'],
['Sell', 'C', 412, 'NEW', 100, '20190102-09:00:00am'],
['Sell', 'C', 413, 'NEW', 200, '20190102-09:01:00am'],
['Sell', 'C', 414, 'CXL', 50, '20190102-09:02:00am']],
columns=['side', 'sender', 'id', 'type', 'quantity', 'receive_time'])
推荐阅读
- html - Bootstrap flex-grow-0 类无法在我的导航栏中实现其目的
- spring - 使用 Spring MVC webapp,你可以在移动设备上拍照并上传到服务器吗?
- html - 在 Angular 中编辑输入文本
- javascript - 如何用javascript移动一个div
- angular - Angular - 错误 NG8001:“app-landing-topnavbar”不是已知元素
- javascript - React js在中间用省略号截断文本
- python - 在 spaCy 中没有完全识别连词?
- android - 将 Android 应用程序连接到在线数据库的最佳(最安全)方式
- sharepoint - Confluence 作为 CMS
- javascript - 网络组件社区聚合物网络组件