python - 使用多处理模块填充复杂的 numpy 数组
问题描述
我遇到了这个演示https://jonasteuwen.github.io/numpy/python/multiprocessing/2017/01/07/multiprocessing-numpy-array.html关于如何使用多处理模块填充 numpy 数组。我想在我的代码中做类似的事情,但我正在填充的数组,即我X
的数组是一个复杂的数组。ctypes 模块给了我一个错误NotImplementedError: Converting dtype('complex128') to a ctypes type
。
因此,在链接的示例中,我想要有效地替换非并行版本:
X = np.random.random((100, 100))
和
X = np.random.random((100, 100)) + 1j * np.random.random((100, 100))
和
tmp = np.zeros((100, 100))
和
tmp = np.zeros((100, 100)) + 1j * np.random.random((100, 100))
我不确定如何使用 numpy.ctypes 模块来做到这一点,但我愿意接受其他想法来实现类似的事情。谢谢。
解决方案
通过将数组拆分为实部和虚部来解决这个问题,分别处理它们,然后组合形成复变量。
import numpy as np
import itertools
from multiprocessing import Pool # Process pool
from multiprocessing import sharedctypes
size = 100
block_size = 4
X = np.random.random((size, size)) + 1j * np.random.random((size, size))
X_r = X.real
X_i = X.imag
result_r = np.ctypeslib.as_ctypes(np.zeros((size, size)))
result_i = np.ctypeslib.as_ctypes(np.zeros((size, size)))
shared_array_r = sharedctypes.RawArray(result_r._type_, result_r)
shared_array_i = sharedctypes.RawArray(result_i._type_, result_i)
def fill_per_window(args):
window_x, window_y = args
tmp_r = np.ctypeslib.as_array(shared_array_r)
tmp_i = np.ctypeslib.as_array(shared_array_i)
for idx_x in range(window_x, window_x + block_size):
for idx_y in range(window_y, window_y + block_size):
tmp_r[idx_x, idx_y] = X_r[idx_x, idx_y]
tmp_i[idx_x, idx_y] = X_i[idx_x, idx_y]
window_idxs = [(i, j) for i, j in
itertools.product(range(0, size, block_size),
range(0, size, block_size))]
p = Pool()
res = p.map(fill_per_window, window_idxs)
result_r = np.ctypeslib.as_array(shared_array_r)
result_i = np.ctypeslib.as_array(shared_array_i)
result = result_r + 1j * result_i
print(np.array_equal(X, result))
推荐阅读
- javascript - RTK Query 中的 Chain 2 查询
- javascript - 如何使用 3 个子数组在 Javascript 中检测井字游戏获胜者?
- reactjs - 链接路径未按预期工作:reactjs
- flutter - flutter) 调用类时,想从调用页面获取特定的字符串或函数
- type-hinting - mypy在简单的单行函数中找不到类型错误
- go - 当更多工作人员被显式调用时,gomaxprocs 被忽略
- react-native - 将背景设置为图像以保存到图库
- python - 有没有办法在 python 或 jupyter notebook 中使用部分关键字搜索帮助页面?
- vue.js - 如何更改每页列表的行
- mysql - SQL:实体属于(多对一)两个不同实体之一