python - 使用列数组矢量化 pandas 数据框列查找
问题描述
我有一个熊猫字符串数据框,如下所示。
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randint(97,123,size=(3, 4), dtype=np.uint8).view('S1'), columns=list('ABCD'))
df
出去:
A B C D
0 q g v f
1 l m u u
2 r r j w
我还有一个列名列表。
col_list = [['A'], ['A', 'B'], ['A', 'B', 'C']]
我想切片df
并应用如下操作:
df[col_list[1]].values.sum(axis=1)
出去:
array(['qg', 'lm', 'rr'], dtype=object)
同样,我需要对col_list
. 我可以在 for 循环中执行此操作,但如果列表很大,这会很慢。有没有办法对此进行矢量化,以便我可以col_list
作为一个 numpy 数组传递,结果是一个 shape 的 numpy 2D 数组(len(col_list), len(df.index))
。
关键是,对于大型列表,它需要快速。
解决方案
numpy
与r_
、cumsum
和一起使用hsplit
:
import numpy as np
arr_list = np.hsplit(df.loc[:, np.r_[[i for l in col_list for i in l]]].values,
np.cumsum(list(map(len, col_list))))
res1 = list(map(lambda x:np.sum(x, 1), arr_list))[:-1]
col_list
如果有 3000 个列表,则比正常循环快 60 倍:
col_list = [['A'], ['A', 'B'], ['A', 'B', 'C']] * 1000
numpy
:
%%timeit
arr_list = np.hsplit(df.loc[:, np.r_[[i for l in col_list for i in l]]].values,
np.cumsum(list(map(len, col_list))))
res1 = list(map(lambda x:np.sum(x, 1), arr_list))[:-1]
# 24.3 ms ± 3.36 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
for
环形:
%%timeit
for l in col_list:
df[l].values.sum(axis=1)
# 1.53 s ± 62.7 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
验证:
all(all(i == j) for i,j in zip(res1, res2))
# True
推荐阅读
- visual-studio - can't open VS 2017 projects anymore after update
- c++ - 从 'const char*' 到 'char*[-fpermissive] 的无效转换(可能是多维数组问题,不确定)
- ios - 将文本字段留空 - 崩溃 - swift 4
- node.js - Mongodb聚合使用匹配与查找
- perl - 避免在 perl 循环的最后一行打印新行
- sql - SQL Server OPENJSON 返回最后一个元素为 null
- reactjs - Semantic UI React 模态的奇怪位置
- javascript - 为什么我得到 TypeError X is not a function
- c - `*(volatile T*)0x1234;` 是否保证翻译成读指令?
- php - Laravel 5 - Accessing collection values in view