时间戳

首页 > 解决方案 > 同时运行同一程序的多个版本

python - 同时运行同一程序的多个版本

问题描述

我有一个 python 脚本需要一天才能运行。我需要为不同的参数运行相同的代码。但是，使用 for 循环遍历所有参数是不可能的，因为它会导致更长的计算时间。这是一个描述情况的简单示例：

ValuesParams=[1,2,3,4,5]
for i in ValuesParams:
     do something
     output file_i.csv

我想运行 5 个不同的程序（在计算机集群中），具有 5 个不同的值，输出 5 个不同名称的不同 csv 文件，但同时执行。因为在单个程序中运行该 for 循环需要 5 天。实际上它不仅仅是5个参数，程序也不是一个简单的循环。

我怎样才能做到这一点？任何关于寻找什么的建议或信息都会非常有用。

编辑 感谢所有回复，特别是 remram。他们让我找到了答案。

解决方案 1：我创建了一个脚本 RunPrograms.sh，它遍历参数 var1、var2，然后将参数传递给我的 python 脚本 test.py 并同时运行所有作业。一个限制仍然存在，我必须小心同时发送例如 1000 个工作，但这就是我需要的。

#!/bin/bash
for var1 in $(seq 1 0.5 3); do
        for var2 in $(seq 1 3); do
                python3 test.py $var1 $var2 &
        done
done

在 python 脚本中：

import sys
a=float(sys.argv[1])
b=float(sys.argv[2])
def Code(a,b)
    do_something

解决方案 2：在 python 脚本中使用 multiprocessing 和 starmap 来传递多个参数：

def Code(T,K):
    do_something
RangeT=np.linspace(0.01,0.05,num=10)
RangeK=[2,3,4]
Z=list(itertools.product(RangeT, RangeK))
if __name__ == '__main__':  
    pool = Pool(4)
    results = pool.starmap(Code, Z)

标签： pythonpython-3.xbashperformancecluster-computing

解决方案

您可以ProcessPoolExecutor在 Python 代码中使用：

from concurrent.futures.process import ProcessPoolExecutor

ValuesParams=[1,2,3,4,5]
with ProcessPoolExecutor(5) as pool:
    pool.map(do_something, ValuesParams)

或者您可以在 shell 级别工作，只需使用不同的命令行参数多次运行您的程序，例如使用parallel：

parallel python myscript.py -- "1" "2" "3" "4" "5"

import sys

i = int(sys.argv[1])
do_something(i)
output file_i.csv

推荐阅读