python - Groupby 并使用 Vaex 组合数据框
问题描述
我有一个.csv
大约 150M 行的大文件。我仍然可以将整个数据集放入内存并使用 Pandas 进行分组和组合。例子...
aggregated_df = df.groupby(["business_partner", "contract_account"]).sum()
在上面的示例中,数据框包含两个整数列business_partner
和contract_account
,它们用作分组操作的键。可以假设剩余的列都是我想要聚合的浮点特征。
但是,这只使用了我工作站上 48 个内核中的 1 个。我正在尝试使用vaex来利用我所有的内核,但无法弄清楚执行 groupby 和 combine 的 API 调用。也许在 Vaex 中还不可能?
编辑:
- 我知道这个操作可以在 dask 中完成,但是对于这个问题,我想专注于 Vaex。
解决方案
您可以在https://docs.vaex.io/en/latest/api.html#vaex.dataframe.DataFrameLocal.groupby中找到一个工作示例
以您按 2 列分组并获得总和聚合的示例为例:
import pandas as pd, numpy as np
import vaex
# Create input dataframe
n=10**6 # Change this to adjust df size
a_c1 = [1,2,3]*n
a_c2 = [1,1,2,2,3,3]*int(n/2)
a_x = np.arange(float(len(a_c1)))
df = pd.DataFrame({'c1':a_c1,'c2':a_c2,'x1':a_x, 'x2':a_x})
# Convert dataframe to vaex
# dfv = vaex.from_pandas(df) # This also works, but it's slower
dfv = vaex.from_arrays(c1=a_c1, c2=a_c2, x1=a_x, x2=a_x)
df_result1 = df.groupby(['c1','c2']).sum()
df_result2 = dfv.groupby(['c1','c2'],agg='sum')
输出结构会略有不同:
> print(df_result1)
x1 x2
c1 c2
1 1 7.499985e+11 7.499985e+11
2 7.500000e+11 7.500000e+11
2 1 7.499990e+11 7.499990e+11
3 7.500005e+11 7.500005e+11
3 2 7.499995e+11 7.499995e+11
3 7.500010e+11 7.500010e+11
> print(df_result2)
# c1 c2 x_1_sum x_2_sum
0 2 3 7.50000e+11 7.50000e+11
1 2 1 7.49999e+11 7.49999e+11
2 3 2 7.5e+11 7.5e+11
3 3 3 7.50001e+11 7.50001e+11
4 1 2 7.5e+11 7.5e+11
5 1 1 7.49998e+11 7.49998e+11
推荐阅读
- python - tkinter - 单选按钮可以控制多个变量吗?
- java - 如何为我的手机中安装的 whatsapp、facebook 或其他应用程序创建共享按钮
- java - 如何有效地比较两个产品列表
- linux - rm 命令未通过 cron 执行
- kubernetes - Windows pod 的名称解析在 1.18.1 上不起作用
- javascript - 修改嵌套对象中的值
- java - Spring kafka 在运行时重新创建 Kafka Stream Topology
- c# - C# 获取带有字符串名称的数组?
- vue.js - Nuxt Auth 中间件向用户端点发出空请求
- android - 但是我在 travis 上遇到了一个错误,用于生成 singed apk