python - 根据字典值计算numpy数组中向量的总和
问题描述
我有一个类似以下的数组,但要大得多:
array = np.random.randint(6, size=(5, 4))
array([[4, 3, 0, 2],
[1, 4, 3, 1],
[0, 3, 5, 2],
[1, 0, 5, 3],
[0, 5, 4, 4]])
我还有一本字典,它给了我这个数组中每个值的向量表示:
dict_ = {2:np.array([3.4, 2.6, -1.2]), 0:np.array([0, 0, 0]), 1:np.array([3.9, 2.6, -1.2]), 3:np.array([3.8, 6.6, -1.9]), 4:np.array([5.4, 2.6, -1.2]),5:np.array([6.4, 2.6, -1.2])}
我想计算数组中每一行的向量表示的平均值,但是当值为 0 时,在计算平均值时忽略它(字典将其显示为 0 向量)。
例如,对于第一行,它应该平均 [5.4, 2.6, -1.2], [3.8, 6.6, -1.9] 和 [3.4, 2.6, -1.2],并给出 [4.2, 3.93, -1.43] 为输出的第一行。
我想要一个保持相同行结构的输出,并且有 3 列(字典中的每个向量都有 3 个值)。
如何以有效的方式做到这一点?我的实际字典有超过 100000 个条目,数组是 100000 x 5000。
解决方案
为了提高效率,我会将 dict 转换为数组,然后使用高级索引进行查找:
>>> import numpy as np
>>>
# create problem
>>> v = np.random.random((100_000, 3))
>>> dict_ = dict(enumerate(v))
>>> arr = np.random.randint(0, 100_000, (100_000, 100))
>>>
# solve
>>> from operator import itemgetter
>>> lookup = np.array(itemgetter(*range(100_000))(dict_))
>>> lookup[0] = np.nan
>>> result = np.nanmean(lookup[arr], axis=1)
或应用于 OP 的示例:
>>> arr = np.array([[4, 3, 0, 2],
... [1, 4, 3, 1],
... [0, 3, 5, 2],
... [1, 0, 5, 3],
... [0, 5, 4, 4]])
>>> dict_ = {2:np.array([3.4, 2.6, -1.2]), 0:np.array([0, 0, 0]), 1:np.array([3.9, 2.6, -1.2]), 3:np.array([3.8, 6.6, -1.9]), 4:np.array([5.4, 2.6, -1.2]),5:np.array([6.4, 2.6, -1.2])}
>>>
>>> lookup = np.array(itemgetter(*range(6))(dict_))
>>> lookup[0] = np.nan
>>> result = np.nanmean(lookup[arr], axis=1)
>>> result
array([[ 4.2 , 3.93333333, -1.43333333],
[ 4.25 , 3.6 , -1.375 ],
[ 4.53333333, 3.93333333, -1.43333333],
[ 4.7 , 3.93333333, -1.43333333],
[ 5.73333333, 2.6 , -1.2 ]])
针对@jpp 方法的时间安排:
pp: 0.8046 seconds
jpp: 10.3449 seconds
results equal: True
产生时间的代码:
import numpy as np
# create problem
v = np.random.random((100_000, 3))
dict_ = dict(enumerate(v))
arr = np.random.randint(0, 100_000, (100_000, 100))
# solve
from operator import itemgetter
def f_pp(arr, dict_):
lookup = np.array(itemgetter(*range(100_000))(dict_))
lookup[0] = np.nan
return np.nanmean(lookup[arr], axis=1)
def f_jpp(arr, dict_):
def averager(x):
lst = [dict_[i] for i in x if i]
return np.mean(lst, axis=0) if lst else np.array([0, 0, 0])
return np.apply_along_axis(averager, -1, arr)
from time import perf_counter
t = perf_counter()
r_pp = f_pp(arr, dict_)
s = perf_counter()
print(f'pp: {s-t:8.4f} seconds')
t = perf_counter()
r_jpp = f_jpp(arr, dict_)
s = perf_counter()
print(f'jpp: {s-t:8.4f} seconds')
print('results equal:', np.allclose(r_pp, r_jpp))
推荐阅读
- swift - 快速四舍五入到最接近的小数点 0.5
- javascript - 如何在 PrettyPhoto 的 JS 中调用 PHP 以在描述中包含链接?
- java - 健全性检查:在 conda 环境中正确降级 Java
- java - 在 Jython 中捕获 java 异常
- r - 使用 R 和没有选择器的 Jazzy Scraping
- opencv - 如何通过网络摄像头实时识别图像并使用 Keras 实时准确地显示标签
- android - 如何制作透明状态栏
- wordpress - 如果没有备份数据库,将 public_html 文件夹上传到另一个托管服务提供商还不够吗?
- sql-server - 在 OPENQUERY 中包含参数列表
- java - 如何创建通知