时间戳

首页 > 解决方案 > Python多处理队列内存管理

python - Python多处理队列内存管理

问题描述

假设我有Main进程和 2 个附加进程A和B. 在这个程序中，A 应该向 B 发送数据。如果我们有这样的代码：

from multiprocessing import Process, Queue

def process_a(iterable, q):

    for x in iterable:
        q.put(x)

def process_b(q):

    while some_condition():
        x = q.get()


iterable = some_iterable()
q = Queue()

pa = Process(target=process_a, args=(iterable, q))
pb = Process(target=process_b, args=(q,))

pa.start()
pb.start()

pa.join()
pb.join()

鉴于队列q是在主进程中创建的，数据流是这样的吗？

A => Main => B

如果是这样，有没有办法Queue初始化B并传递给数据A直接从A跳过？BMain

标签： pythonqueuemultiprocessing

解决方案

鉴于队列 q 是在主进程中创建的，数据流是这样的吗？

A => Main => B

不，正如文档中所解释的， aQueue只是围绕 a 的自动同步包装器Pipe。当您将 a 传递Queue给孩子时，您只是传递了那个Pipe和一些锁。

这Pipe只是操作系统管道的包装。当您将 a 传递Pipe给孩子时，您只是在传递管道的文件描述符/句柄。

忽略锁，进程 A 基本上只是写入管道，进程 B 只是从中读取。

锁确实让事情变得更复杂了（也可能意味着进程 A 启动了一个隐藏的后台线程），但它们仍然根本不涉及主进程。

除非主进程调用队列上的方法，否则它与该队列完全无关。

推荐阅读