python - 更新熊猫数据帧子集的子集的值对于大型数据集来说太慢了
问题描述
问题陈述:我正在处理医院所有就诊的交易数据,我需要在每个患者的第一次坏账交易之后删除每笔坏账交易。
我遇到的问题:我的代码适用于一个小型数据集,但实际数据集大约为 5GB 和 13M 行。代码已经运行了好几天了,仍然没有完成。作为背景,我的代码位于标准工作 PC 上运行的 Jupyter 笔记本中。
样本数据
import pandas as pd
df = pd.DataFrame({"PatientAccountNumber":[113,113,113,113,225,225,225,225,225,225,225],
"TransactionCode":['50','50','77','60','22','77','25','77','25','77','77'],
"Bucket":['Charity','Charity','Bad Debt','3rd Party','Self Pay','Bad Debt',
'Charity','Bad Debt','Charity','Bad Debt','Bad Debt']})
print(df)
示例数据框
PatientAccountNumber TransactionCode Bucket
0 113 50 Charity
1 113 50 Charity
2 113 77 Bad Debt
3 113 60 3rd Party
4 225 22 Self Pay
5 225 77 Bad Debt
6 225 25 Charity
7 225 77 Bad Debt
8 225 25 Charity
9 225 77 Bad Debt
10 225 77 Bad Debt
解决方案
for account in df['PatientAccountNumber'].unique():
mask = (df['PatientAccountNumber'] == account) & (df['Bucket'] == 'Bad Debt')
df.drop(df[mask].index[1:],inplace=True)
print(df)
期望结果(每位患者最多应有一笔坏账交易)
PatientAccountNumber TransactionCode Bucket
0 113 50 Charity
1 113 50 Charity
2 113 77 Bad Debt
3 113 60 3rd Party
4 225 22 Self Pay
5 225 77 Bad Debt
6 225 25 Charity
8 225 25 Charity
替代解决方案
for account in df['PatientAccountNumber'].unique():
mask = (df['PatientAccountNumber'] == account) & (df['Bucket'] == 'Bad Debt')
mask = mask & (mask.cumsum() > 1)
df.loc[mask, 'Bucket'] = 'DELETE'
df = df[df['Bucket'] != 'DELETE]
尝试使用 Dask
我想也许 Dask 可以帮助我,但我得到了以下错误代码:
- 在第一个解决方案上使用 Dask -“NotImplementedError:仅支持具有匹配分区结构的其他系列对象的系列 getitem”
- 在第二种解决方案中使用 Dask -“TypeError:'_LocIndexer' 对象不支持项目分配”
解决方案
您可以在 accountNumber 和 Bucket 上使用 df.duplicated 并检查 Bucket 是否为坏账来解决此问题:
df[~(df.duplicated(['PatientAccountNumber','Bucket']) & df['Bucket'].eq("Bad Debt"))]
PatientAccountNumber TransactionCode Bucket
0 113 50 Charity
1 113 50 Charity
2 113 77 Bad Debt
3 113 60 3rd Party
4 225 22 Self Pay
5 225 77 Bad Debt
6 225 25 Charity
8 225 25 Charity
推荐阅读
- google-cloud-platform - Terraform GCP 以错误的顺序执行资源
- discord - Discord api 忽略“文件”元素
- django - Django在文本字段中的字母之间没有空格
- python - 有没有办法集成两个针对相同课程训练的 keras (h5) 模型
- python - 如何将openmpi设置为正确的路径?
- php - Moodle MFA 插件设置问题 3.10+
- terraform - 错误:无法读取 ssh 私钥:未找到密钥
- python - LensKit Recommender 仅返回部分用户的结果,否则返回空 DataFrame。为什么会这样?
- c - for循环变量溢出和编译器优化时的行为
- javascript - 创建存款方法但得到 card.save 不是函数