python - Python 中的 multiprocessing.dummy.Pool 是如何工作的？

Question

我在我的一个程序中使用 multiprocessing.dummy.Pool 。https://docs.python.org/3/library/multiprocessing.html#multiprocessing.pool.Pool.map上的文档说明如下：

此方法将可迭代对象分割成多个块，将它们作为单独的任务提交给进程池。这些块的（近似）大小可以通过将 chunksize 设置为正整数来指定。

1. 它如何将可迭代对象分割成多个块？块的默认大小是多少？

请注意，对于非常长的迭代，它可能会导致高内存使用。

2. 它是如何导致长迭代的高内存使用的？我如何决定最好的块大小来避免这种情况？

标签： pythonmultithreadingpython-multithreading