multithreading - Goroutines (cgo):使用 goroutines 时产生无法解释的 OS 线程
问题描述
我正在使用 go 来并行化 2d 卷积,其中卷积(在 go 中实现)发生在 C 二进制文件(调用 go 代码)中包含的 c 存档中。没有从 go 代码调用任何 c 函数
在生成 goroutine 之前,所有矩阵都由 c 代码加载到内存中,并且所有 goroutine 通过共享内存访问它。
我使用 GOMAXPROCS-1 来决定生成多少个 go 例程,并为每个例程分配一个 ID。goroutines 以条纹方式根据其 ID 分配矩阵的行。go 例程在生成时锁定到 OS 线程,并在完成后释放线程。
例如,如果 GOMAXPROCS 设置为 4,goroutine 0 占用第 0、4、8、12 行等,goroutine 1 占用第 1、5、9、13 行等。
我的问题是当 GOMAXPROCS 设置为 4 时,生成11 个操作系统线程
我的理解是这些操作系统线程是因为调度程序试图确保总是有可用的线程没有被阻塞而产生的。
在生成 goroutine 之后没有发生 I/O 或系统调用,所以我不明白为什么调度程序会创建所有这些进程或阻塞线程的原因。
在具有 40 个内核的机器上使用 GOMAXPROCS >=20 执行时,产生的线程数会减慢执行速度
为什么调度程序会产生所有这些线程?如何调试例程在何处/如何被阻止?
解决方案
GOMAXPROCS 限制了运行 Go 代码的线程数,但是 cgo 调用不计入 Go 代码,所以你仍然可以看到 GOMAXPROCS=1 的多个线程。
推荐阅读
- javascript - Javascript ISReachable 不起作用。说require没有定义
- php - 如何将用户 ID 保存在 laravel 中特定用户使用软删除删除的记录中
- python - 如何读取文件夹中的所有图像?
- bash - Bash 解析器在命令行中以什么顺序转义字符和拆分单词/标记?
- swift - 为具有失败响应的字典数组实现 Codable
- javascript - Retyped.chartist 用法不清楚。如何创建基本折线图?
- android - 从 Firestore 获取数据后,方法总是返回 null
- java - 内存分配 Java 异常
- php - 将数据从一个表复制到另一个没有 ID
- java - 如何在 JavaFX 中延迟 10 秒在 TextArea 中附加文本?