时间戳

首页 > 解决方案 > 使用池类在 Python 中进行多处理

python - 使用池类在 Python 中进行多处理

问题描述

我想在windows（zeppelin notebook）的python（特别是Pool Class）中使用多处理。但是在阅读了很多之后我才知道池类在其后端使用了泡菜，并且只能用于可以泡菜的对象。由于我无法在 Python 中使用 pickle 序列化函数或类（至少在 3.6 版本中），我发现 pathos.multiprocessing 库可用于执行多处理，因为它使用dill而不是后端的 pickledill包文档可以序列化任何东西。但是当我使用它时，我得到了错误。下面是我使用的简单代码：

import pathos.multiprocessing as mp

def cube(x):
    return x**3

p = mp.Pool(4)

p.apply(cube, [1,2,3])

这是我得到的错误：

py4j.protocol.Py4JError: An error occurred while calling o0.__getstate__. Trace:
py4j.Py4JException: Method __getstate__([]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:335)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:344)
    at py4j.Gateway.invoke(Gateway.java:279)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:209)
    at java.lang.Thread.run(Thread.java:748)

即使我使用 map、apply_async 或 map_async，我也会遇到同样的错误。有人可以帮我找出问题所在。

提前致谢

标签： pythonserializationpython-multiprocessingdillpathos

解决方案

另外，如果我使用这样的代码：

import multiprocessing as mp

def cube(x):
    return x**3

if __name__ == '__main__':
    p = mp.Pool(4)
    p.apply(cube, [1,2,3])

我没有看到任何返回的输出。不确定是什么问题。

推荐阅读