c++ - 如何使用 Apache Arrow 做“a + b + c*5 + d*3”?
问题描述
我想到了使用预定义函数来执行此操作:计算“a + b”、“c * 5”、“d * 3”,然后将结果相加。
但是这种方式似乎会生成很多代码。有没有更好的方法来做到这一点?
顺便说一句,Apache Arrow 默认使用 SIMD(c++ 版本)吗?如果没有,我怎样才能让它使用 SIMD?
解决方案
PyArrow 目前不覆盖 Python 中的运算符,但您可以轻松调用算术计算函数。(functools.reduce
在这里使用是因为加法内核是二进制的,而不是 n 进制的。)
PyArrow 根据编译时使用的标志自动使用 SIMD。它应该使用编译它的 CPU 支持的“最高”SIMD 级别。并非所有计算函数实现都在内部利用 SIMD。现在看起来主要是聚合内核这样做。
>>> import pyarrow as pa
>>> import pyarrow.compute as pc
>>> import functools
>>> pa.__version__
'4.0.1'
>>> a = pa.array([1,2,3])
>>> b = pa.array([3,4,5])
>>> c = pa.array([1,0,1])
>>> d = pa.array([2,4,2])
>>> functools.reduce(pc.add, [pc.add(a,b), pc.multiply(c, 5), pc.multiply(d, 3)])
<pyarrow.lib.Int64Array object at 0x7fd5a0d9c040>
[
15,
18,
19
]
推荐阅读
- php - HTTP client/ "file_get_contents()" 使 Laravel 应用程序因为加载时间而超时
- java - 如何向 Micronaut 项目添加第二个数据源?
- pandas - 遍历 pandas DataFrameGroupBy 对象以创建带有每月子图的年度图像
- python - 如何使用分配不同颜色的散点图绘制多个分类数据?
- javascript - JavaScript:接受除法函数作为返回新函数的另一个函数的参数->返回商
- inheritance - 如何设置基本测试环境以便与继承类一起使用?
- qt - QML 无法锚定到布局中的项目
- java - Android 通知通道说明
- excel - 与行和列中的数据匹配的查找公式
- django - 为什么我不能向数据库提交双重表格