python - 为什么 ThreadPool 会导致超过一个核心的 CPU 使用率？

Question

我有如下代码：

def get_image_stats(fp):
    img = cv2.imread(fp)
    return img.shape[0], img.shape[1], img.shape[0]/img.shape[1]

with ThreadPool(16) as pool:
    res = list(tqdm(pool.imap_unordered(get_image_stats, df.file_path), total=len(df)))

heights, widths, ars = list(zip(*res))

唯一的库特定部分cv2.imread只是将图像文件加载到 numpy 数组中，因此它是 I/O 绑定的。

为什么我的 CPU 使用率会这样？

关于该图像的注释：

• 横轴 i 时间以秒为单位，纵轴是 cpu % 使用率，范围从 0% 到 100%。更新间隔为 1 秒。
• 40年代是我开始剧本的地方
• 不容易看到，但有16个核心。

另一个注意事项：我没有将 n_workers 设置为 16，因为我有 16 个内核。只是巧合。

那么为什么这会一次使用 75% 的 16 个内核呢？

标签： pythonmultiprocessing

Answer 1

因为如果可以的话，您的线程池将使用每个线程 1 个核心。这就是提供最大并行性和最大化吞吐量的原因。