首页 > 解决方案 > Python多处理管理器修剪一些方法

问题描述

我发现它Manager在实践中很少适用于大多数自定义对象,因为它删除了一些类成员。看一个例子:

from multiprocessing import Manager
from scipy.interpolate import CubicSpline
cs_pure = CubicSpline([1,2,3], [1,2,3])
test_pure = cs_pure(1)
m = Manager()
m.register('CubicSpline', CubicSpline)
cs_m = m.CubicSpline([1,2,3], [1,2,3])
test_m = cs_m(1)

这将引发异常:

TypeError: 'AutoProxy[CubicSpline]' object is not callable

令人惊讶的是,大多数其他方法(例如integrate, differentiate)都按预期工作。但是,该__call__方法不存在。

有解决方法吗?

标签: pythonclassmultiprocessingmagic-methods

解决方案


你的意思是test_m = cs_m(1)

首先,根据我的经验,您必须在管理器服务器启动之前向管理器类注册一个托管类:

from multiprocessing.managers import SyncManager
from multiprocessing import Manager
from scipy.interpolate import CubicSpline

SyncManager.register('CubicSpline', CubicSpline)
m = Manager()
...

所以我不确定你是怎么做到的。如果您不需要使用SyncManager(例如dict)实现的所有其他已注册托管类,则创建自己的管理器类也更常见。我将在下面的代码中演示这一点(根据需要使用或不使用此技术)。

我认为问题在于,__call__当您没有定义自己的代理类时,该方法不会在为您生成的代理类中自动生成。与其定义自己的代理类,我认为更简单的解决方案是子类化CubicSpline该类并添加一个额外的方法,例如evaluate_polynomial简单地调用超类__call__方法:

from multiprocessing.managers import BaseManager
from scipy.interpolate import CubicSpline

class CubicSplineManager(BaseManager):
    pass

class MyCubicSpline(CubicSpline):
    def evaluate_polynomial(self, *args, **kwargs):
        return self.__call__(*args, **kwargs)

if __name__ == '__main__':
    cs_pure = CubicSpline([1,2,3], [1,2,3])
    test_pure = cs_pure(1)
    print(test_pure)
    CubicSplineManager.register('CubicSpline', MyCubicSpline)
    m = CubicSplineManager()
    m.start() # We must explicitly start the server
    cs_m = m.CubicSpline([1,2,3], [1,2,3])
    test_m = cs_m.evaluate_polynomial(1)
    print(test_m)

印刷:

1.0
1.0

推荐阅读