python - 具有 SyncManager 类的 python 中多进程优先级队列的队列函数
问题描述
我想实现多处理优先队列。我找到了这个答案:- Python 2.7.6 中多处理的奇怪 Queue.PriorityQueue 行为
达诺_
在我实施这个之后。我可以为我的优先队列使用 .get() 和 .put() 函数,但是当我使用 .queue 打印队列中的当前元素时,它给了我一个错误
代码:-
class MyManager(SyncManager):
pass
def get_manager():
MyManager.register("PriorityQueue", PriorityQueue) # Register a shared PriorityQueue
m = MyManager()
m.start()
return m
m = get_manager()
call= m.PriorityQueue()
for i in range(5):
call.put(i)
print(call.queue)
错误 :AttributeError: 'AutoProxy[PriorityQueue]' object has no attribute 'queue'
我阅读了 SyncManager 的 python 文档并修改了我的代码。
新代码:-
class MyManager(SyncManager):
pass
def get_manager():
MyManager.register("PriorityQueue", PriorityQueue,exposed=['put','get','queue']) # Register a shared PriorityQueue
m = MyManager()
m.start()
return m
m = get_manager()
call= m.PriorityQueue()
for i in range(5):
call.put(i)
print(call.queue)
现在输出是: -
<bound method AutoProxy[PriorityQueue].queue of <AutoProxy[PriorityQueue] object, typeid 'PriorityQueue' at 0x7ff3b48f2dd0>>
我仍然没有得到队列中的元素,我阅读method_to_typeid
了寄存器函数的属性来映射中提到的函数的返回类型exposed
,但我不知道如何使用它。
有人可以帮我解决这个问题,这样我就可以打印队列的元素而不用从队列中弹出它们
解决方案
您只能通过代理使用引用对象的方法。由于PriorityQueue().queue
不是方法,而是实例属性,因此您需要提供一个可以返回该属性值的方法。下面的示例选择了get_attribute
带有子类化的通用方法PriorityQueue
。
# Python 3.7.1
from queue import PriorityQueue
from multiprocessing.managers import SyncManager
from multiprocessing import Process
SENTINEL = None
class MyPriorityQueue(PriorityQueue):
def get_attribute(self, name):
return getattr(self, name)
class MyManager(SyncManager):
pass
def get_manager():
MyManager.register("PriorityQueue", MyPriorityQueue)
m = MyManager()
m.start()
return m
def f(q):
for item in iter(lambda: q.get()[1], SENTINEL):
print(item)
print(f'queue: {q.get_attribute("queue")}')
if __name__ == '__main__':
m = get_manager()
pq = m.PriorityQueue()
tasks = enumerate([f'item_{i}' for i in range(5)] + [SENTINEL])
for task in tasks:
pq.put(task)
print(f'queue: {pq.get_attribute("queue")}')
print(f'maxsize: {pq.get_attribute("maxsize")}')
p = Process(target=f, args=(pq,))
p.start()
p.join()
示例输出:
queue: [(0, 'item_0'), (1, 'item_1'), (2, 'item_2'), (3, 'item_3'), (4, 'item_4'), (5, None)]
maxsize: 0
item_0
item_1
item_2
item_3
item_4
queue: []
推荐阅读
- sql - 基于没有聚合的值旋转两列
- java - 如何强制关闭 apache camel 中的线程?
- java - Java 16 DateTimeFormatter 解析问题
- firebase - Google Firebase 实时数据库加密
- windows - 为其他计算机定义 COM 端口
- python - 在 Red Hat Linux 上安装 cvxpy 的问题
- ruby-on-rails - 如何在rails中销毁与登录用户相关的所有任务
- image - 从不安全的注册表中提取图像 - 在 containerd 上
- docker - Docker写权限被拒绝
- next.js - 我可以使用来自另一个后端服务器的 API 服务,而 Nextjs 中没有默认的 api 路由吗?