首页 > 技术文章 > 【Python】多进程处理多个数据文件

waimen 2020-04-08 20:54 原文

 

【问题描述】

有多个数据文件,采用相同的处理函数进行处理。如果采用串行的思想对文件进行处理,那就需要分别处理每一个文件,所需要的时间非常长。

所以,需要采用多进程的方法,对多个数据文件采用并行的方式进行处理,处理时间缩短明显。

【实现方法】

主函数:

import multiprocessing

  ……

    pool=multiprocessing.Pool(processes=32)
    print('开始多进程处理过程!')
    for A1PRE_file in A1PRE_filename_list:
        pool.apply_async(func=AIS_demod_main, args=(A1PRE_file,satelliteID,processID,outPath,logger,))
        print(A1PRE_file)

    pool.close()
    pool.join()

主要思想就是采用并行处理函数

pool.apply_async

对多个文件进行处理。

【其他问题】

python3.7.4版本中,采用上述代码可以实现多进程处理。但是python3.6中apply_async函数无法正常执行,程序不报错,运行到该函数后直接跳过。

所以,采用该函数需要注意python的版本。

推荐阅读