python - Multiprocessing.dummy.Pool 只有一名工作人员在运行

Question

我创建了一个类，其中存储了几个大字典和一个方法，该方法将文件作为输入并使用字典中包含的信息对其进行处理。

现在，我必须处理的文件总数约为 18000，因此我选择以multiprocessing.dummy.Pool这种方式使用 a：

with dummy.Pool(processes=50) as pool:
    failed = [x for x in pool.imap(export.get_uniref_uniprotkb_from_panproteome, species, chunksize=300)]

我注意到的htop是，主进程正确生成了 50 个线程，但即使我更改了块大小，也只有一个处于运行状态。

标签： pythonmultiprocessingpool