时间戳

首页 > 解决方案 > 在 goroutine 中调用 C.malloc/C.free 时发生内存泄漏

go - 在 goroutine 中调用 C.malloc/C.free 时发生内存泄漏

问题描述

当我使用以下简单程序查看 RSS 时，我看到了持续的内存泄漏：

package main

/*
#include <stdlib.h>
*/
import "C"

import (
    "time"
    "unsafe"
    )

func loopStuff() {
    for {
        ptrs := make([]unsafe.Pointer, 20)
        for i:=0; i<20; i++ {
            ptrs[i] = C.malloc(16 * (1 << i))
        }
        time.Sleep(1 * time.Millisecond)
        for i:=0; i<20; i++ {
            C.free(ptrs[i])
        }
    }
}

func main() {
    for i:=0; i<10; i++ {
        go loopStuff()
    }
    loopStuff()
}

我正在使用 1.13.4 和 ubuntu 18.04。这里发生了什么？

标签： gomalloccgo

解决方案

我认为问题在于for {}对于 10+1 个 goroutine 中的每一个都无限期运行的循环。

此外，如果您阅读free：

Deallocates the space previously allocated by malloc(), calloc(), aligned_alloc(), (since C11) or realloc().

所以它基本上是释放空间，不一定立即将内存返回给操作系统。另外，请阅读此答案。

由于for loop无限期运行，您肯定会看到内存增加，但这不是泄漏。我已经通过删除for loop. 然后我使用 BSD 检查了 RSS top，它使用的平均大小为 1100KB，并且没有上升。也许在等待一段时间后，它甚至会减少（当内存返回给操作系统时）。

经测试：OS: MacOS, Go: 1.15

BSD的top输出：

PID    COMMAND      %CPU TIME     #TH  #WQ  #POR MEM   PURG CMPR PGRP  PPID  STATE
30767  cgo          0.0  00:00.00 11   0    20   1144K 0B   0B   30767 29146 sleeping

代码：

package main

// #include <stdlib.h>
import "C"

import "unsafe"

func loopStuff() {
        ptrs := make([]unsafe.Pointer, 20)
        for i := 0; i < 20; i++ {
                ptrs[i] = C.malloc(16 * (1 << i))
        }
        for i := 0; i < 20; i++ {
                C.free(ptrs[i])
        }
}

func main() {
        for i := 0; i < 10; i++ {
                go loopStuff()
        }
        loopStuff()
        // Block the main goroutine
        select {}
}

更新：

试试下面的代码。unsafe.Pointer在每次迭代中肯定会分配一个切片。还进行了一些更改。也许在您的系统上，您现在不会看到内存泄漏。

package main

/*
#include <stdlib.h>
*/
import "C"

import (
        "time"
        "unsafe"
)

func loopStuff() {
        ptrs := make([]*unsafe.Pointer, 20)
        for {
                for i := 0; i < 20; i++ {
                        tmp := C.malloc(16 * (1 << i))
                        ptrs[i] = &tmp
                }
                time.Sleep(1 * time.Millisecond)
                for i := 0; i < 20; i++ {
                        C.free(*ptrs[i])
                }
        }
}

func main() {
        for i := 0; i < 10; i++ {
                go loopStuff()
        }
        loopStuff()
}

推荐阅读