时间戳

首页 > 解决方案 > 减少和一个 numpy 数组的最有效方法（使用 autograd）

python - 减少和一个 numpy 数组的最有效方法（使用 autograd）

问题描述

我有两个数组：

index  = [2,1,0,0,1,1,1,2]
values = [1,2,3,4,5,4,3,2]

我想制作：

[sum(v for i,v in zip(index, values) if i == ui) for i in sorted(set(index))]

以最有效的方式。

我认为一个纯粹的 numpy 解决方案将是最好的。

我尝试预先计算 的简化版本index，然后执行以下操作：

[values[l].sum() for l in reduced_index]

但效率不够。

这是一个最小的代码示例：

import numpy as np
import autograd.numpy as anp
from autograd import grad
import pandas as pd

EASY = True

if EASY:
    index = np.random.randint(10, size=10**3)
    values = anp.random.rand(10**3) * 2 - 1
else:
    index = np.random.randint(1000, size=10**7)
    values = anp.random.rand(10**7) * 2 - 1


# doesn't work
def f1(values):
    return anp.exp(anp.bincount(index, weights=values)).sum()


index_unique = sorted(set(index))
index_map = {j: i for i, j in enumerate(index_unique)}
index_mapped = [index_map[i] for i in index]
index_lists = [[] for _ in range(len(index_unique))]
for i, j in enumerate(index_mapped):
    index_lists[j].append(i)


def f2(values):
    s = anp.array([values[l].sum() for l in index_lists])
    return anp.exp(s).sum()


ans = grad(f2)(values)

标签： pythonnumpyautograd

解决方案

如果您的索引是非负整数，您可以使用np.bincountwith valuesas weights：

np.bincount(index, weights=values)
# array([ 7., 14.,  3.])

0这给出了从到的每个位置的总和max(index)。

推荐阅读