首页 > 解决方案 > Goroutines (cgo):使用 goroutines 时产生无法解释的 OS 线程

问题描述

我正在使用 go 来并行化 2d 卷积,其中卷积(在 go 中实现)发生在 C 二进制文件(调用 go 代码)中包含的 c 存档中。没有从 go 代码调用任何 c 函数

在生成 goroutine 之前,所有矩阵都由 c 代码加载到内存中,并且所有 goroutine 通过共享内存访问它。

我使用 GOMAXPROCS-1 来决定生成多少个 go 例程,并为每个例程分配一个 ID。goroutines 以条纹方式根据其 ID 分配矩阵的行。go 例程在生成时锁定到 OS 线程,并在完成后释放线程。

例如,如果 GOMAXPROCS 设置为 4,goroutine 0 占用第 0、4、8、12 行等,goroutine 1 占用第 1、5、9、13 行等。

我的问题是当 GOMAXPROCS 设置为 4 时,生成11 个操作系统线程

htop 和顶部: 在此处输入图像描述

我的理解是这些操作系统线程是因为调度程序试图确保总是有可用的线程没有被阻塞而产生的。

在生成 goroutine 之后没有发生 I/O 或系统调用,所以我不明白为什么调度程序会创建所有这些进程或阻塞线程的原因。

在具有 40 个内核的机器上使用 GOMAXPROCS >=20 执行时,产生的线程数会减慢执行速度

为什么调度程序会产生所有这些线程?如何调试例程在何处/如何被阻止?

源代码

标签: multithreadinggocgo

解决方案


GOMAXPROCS 限制了运行 Go 代码的线程数,但是 cgo 调用不计入 Go 代码,所以你仍然可以看到 GOMAXPROCS=1 的多个线程。


推荐阅读