python - Python 列联表
问题描述
作为我正在编写的项目的一部分,我正在生成很多很多列联表。
工作流程是:
- 获取具有连续(浮点)行的大型数据数组,并通过分箱将它们转换为离散整数值(例如,结果行的值是 0-9)
- 将两行切成向量 X 和 Y 并从中生成列联表,这样我就有了二维频率分布
- 例如,我有一个 10 x 10 数组,计算发生的 (xi, yi) 的数量
- 使用列联表做一些信息论数学
最初,我这样写:
def make_table(x, y, num_bins):
ctable = np.zeros((num_bins, num_bins), dtype=np.dtype(int))
for xn, yn in zip(x, y):
ctable[xn, yn] += 1
return ctable
这工作得很好,但是太慢了,以至于它占用了整个项目运行时间的 90%。
我能想到的最快的纯 python 优化是这样的:
def make_table(x, y, num_bins):
ctable = np.zeros(num_bins ** 2, dtype=np.dtype(int))
reindex = np.dot(np.stack((x, y)).transpose(),
np.array([num_bins, 1]))
idx, count = np.unique(reindex, return_counts=True)
for i, c in zip(idx, count):
ctable[i] = c
return ctable.reshape((num_bins, num_bins))
这(不知何故)要快得多,但对于看起来不应该成为瓶颈的东西来说,它仍然相当昂贵。是否有任何有效的方法可以做到这一点,我只是没有看到,或者我应该放弃并在 cython 中做到这一点?
此外,这是一个基准测试功能。
def timetable(func):
size = 5000
bins = 10
repeat = 1000
start = time.time()
for i in range(repeat):
x = np.random.randint(0, bins, size=size)
y = np.random.randint(0, bins, size=size)
func(x, y, bins)
end = time.time()
print("Func {na}: {ti} Ms".format(na=func.__name__, ti=(end - start)))
解决方案
将 的元素表示np.stack((x, y))
为整数的巧妙技巧可以变得更快:
In [92]: %timeit np.dot(np.stack((x, y)).transpose(), np.array([bins, 1]))
109 µs ± 6.55 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
In [94]: %timeit bins*x + y
12.1 µs ± 260 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
此外,您的第二个解决方案的最后一部分可以稍微简化,只需考虑
np.unique(bins * x + y, return_counts=True)[1].reshape((bins, bins))
更重要的是,由于我们正在处理等间距的非负整数,np.bincount
因此性能会更好np.unique
;有了这个,上面归结为
np.bincount(bins * x + y).reshape((bins, bins))
总而言之,这为您当前正在做的事情提供了相当多的性能:
In [78]: %timeit make_table(x, y, bins) # Your first solution
3.86 ms ± 159 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
In [79]: %timeit make_table2(x, y, bins) # Your second solution
443 µs ± 23.7 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
In [101]: %timeit np.unique(bins * x + y, return_counts=True)[1].reshape((bins, bins))
307 µs ± 25 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
In [118]: %timeit np.bincount(bins * x + y).reshape((10, 10))
30.3 µs ± 3.44 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
您可能还想知道np.histogramdd
哪个同时处理舍入和分箱,尽管它可能会比舍入和使用慢np.bincount
。
推荐阅读
- sql - 如何创建不重复的身份证号码
- c# - ASP.NET Core 3.1 Web API - 使用可为空的参数创建路由
- sql - SQL Server - 插入,返回 id 并更新
- linux - 路由器或 linux 内核是否更改数据包的 tcp 标头和 ip 标头
- python - 将具有“null”值的 MS SQL 表导出到 CSV
- sql - 我如何在 Oracle 的 SQL Developer 20.2 上为 11g 数据库注册小时数?
- java - CipherOutputStream 在接收消息时导致 IllegalBlockSizeException
- sql - 使用左连接运行 MS Access 删除查询时出错
- mysql - SQL插入避免从查询表中重复+避免在更新表中插入重复
- webforms - 如何防止 asp:TreeNode 缩进间距作为父节点?