python - 如何加快python函数中的'for'循环?
问题描述
我有一个功能var
。我想知道通过利用系统拥有的所有处理器、内核和 RAM 内存的多处理/并行处理,在此函数中快速运行 for 循环(对于多个坐标:xs 和 ys)的最佳方法。
是否可以使用Dask
模块?
pysheds
文档可以在这里找到。
import numpy as np
from pysheds.grid import Grid
xs = 82.1206, 72.4542, 65.0431, 83.8056, 35.6744
ys = 25.2111, 17.9458, 13.8844, 10.0833, 24.8306
for (x,y) in zip(xs,ys):
grid = Grid.from_raster('E:/data.tif', data_name='map')
grid.catchment(data='map', x=x, y=y, out_name='catch', recursionlimit=1500, xytype='label')
....
....
results
解决方案
您没有发布指向您的image1.tif
文件的链接,因此下面的示例代码使用pysheds/data/dem.tif
来自https://github.com/mdbartos/pysheds 基本思想是将输入参数(xs
在ys
您的情况下)拆分为子集,然后给每个 CPU要处理的不同子集。
main()
计算解决方案两次,一次是顺序的,一次是并行的,然后比较每个解决方案。并行解决方案存在一些低效率,因为图像文件将由每个 CPU 读取,因此存在改进空间(即,在并行部分之外读取图像文件,然后将生成的grid
对象提供给每个实例)。
import numpy as np
from pysheds.grid import Grid
from dask.distributed import Client
from dask import delayed, compute
xs = 10, 20, 30, 40, 50, 60, 70, 80, 90, 100
ys = 25, 35, 45, 55, 65, 75, 85, 95, 105, 115, 125
def var(image_file, x_in, y_in):
grid = Grid.from_raster(image_file, data_name='map')
variable_avg = []
for (x,y) in zip(x_in,y_in):
grid.catchment(data='map', x=x, y=y, out_name='catch')
variable = grid.view('catch', nodata=np.nan)
variable_avg.append( np.array(variable).mean() )
return(variable_avg)
def var_parallel(n_cpu, image_file, x_in, y_in):
tasks = []
for cpu in range(n_cpu):
x_in = xs[cpu::n_cpu] # eg, cpu = 0: x_in = (10, 40, 70, 100)
y_in = ys[cpu::n_cpu] #
tasks.append( delayed(var)(image_file, x_in, y_in) )
ans = compute(tasks)
# reassemble solution in the right order
par_avg = [None]*len(xs)
for cpu in range(n_cpu):
par_avg[cpu::n_cpu] = ans[0][cpu]
print('AVG (parallel) =',par_avg)
return par_avg
def main():
image_file = 'pysheds/data/dem.tif'
# sequential solution:
seq_avg = var(image_file, xs, ys)
print('AVG (sequential)=',seq_avg)
# parallel solution:
n_cpu = 3
dask_client = Client(n_workers=n_cpu)
par_avg = var_parallel(n_cpu, image_file, xs, ys)
dask_client.shutdown()
print('max error=',
max([ abs(seq_avg[i]-par_avg[i]) for i in range(len(seq_avg))]))
if __name__ == '__main__': main()
推荐阅读
- xml - 谷歌搜索控制台对我的第二个 sitemap.xml 说“不支持的文件格式”
- javascript - 提交事件后,如何从控制器函数中的类获取返回值?
- airflow-scheduler - Airflow dag 的日志作为电子邮件的附件/正文
- c++ - 您可以使用带有指定初始值设定项的显式构造函数吗?
- javascript - 浏览器显示 TypeError: Cannot read property 'user' of undefined
- javascript - 分叉和修改 npm 包。Src 还是 Dist?与 dist 有什么关系?
- html - 在两个内联块元素之间添加间距
- dependency-injection - 动态数据库模块和 CONNECTION 注入令牌的目的是什么?
- javascript - 在 javascript NodeList 上实现上一个和下一个按钮时遇到问题
- reactjs - 创建一个直接下载按钮 firebase 存储 ReactJs