python-3.x - 在图形并行计算中处理相互依赖的文件

Question

我正在尝试通过使用（或通过自己实现计算图）创建任务图来并行化以下代码（ MCVE）：dask.delayed

os.chdir('./kitchen1')
write_dough()   # writes file ./dough
write_topping() # writes file ./topping
write_pizza()   # requires ./dough and ./topping; writes ./pizza

我看到两个困难：

1. write_dough不返回任何东西。z=x+y使变量之间的依赖关系清晰；这没有。Dask 不建议依赖副作用。有没有惯用的解决方案？
2. os.chdir. 如何将其合并到计算图中？
3. 我不关心并行化文件 IO、性能等。

这是我目前的解决方案。它增加了复杂性，并且'./kitchen1'无处不在，这很丑陋。什么是优雅的解决方案？

write_dough, write_topping, write_pizza = map(dask.delayed, (write_dough, write_topping, write_pizza))

dough = write_dough('./kitchen1')
topping = write_topping('./kitchen1')
pizza = write_pizza(dough, topping, './kitchen1')

标签： python-3.xparallel-processingdaskdask-delayed

Answer 1

我会推荐您当前明确传递依赖项的方法。