cython - 使用 nogil 对 memoryviews 进行引用计数
问题描述
我不太明白如何在大型/更长的 nogil 部分中使用 memoryviews 完成引用计数。让我们假设基本上我所有的代码都是 nogil,除了在深处创建一个 numpy-array-to-memoryview 。内存视图被返回并向上使用。
一个相当简单的例子是
import numpy as np
cdef:
double[::1] mv
cdef double[::1] someFun(int nn) nogil:
cdef:
double[::1] mvb
with gil:
mvb = np.arange(nn, dtype=np.double)
return mvb
with nogil:
mv = someFun(30)
# Here could be MUCH more "nogil" code
# How is memory management/reference counting done here?
我假设当 someFun() 返回 memoryview 时,numpy 数组的引用计数仍应为 1。Cython 之后如何处理引用计数?我的意思是即使内存视图/数组被取消引用,也不允许更改引用计数,对吗?如果上面有几个带有 nogil 代码的层,它怎么知道取消对 memoryview 的引用,并且可能与 someFun() 不同,memoryview 没有向上返回?
编辑:所以我想出了一个相当粗略的方法来做更多的测试。我的代码现在看起来像这样。
import numpy as np
cdef extern from "stdio.h":
int getchar() nogil
int printf(const char* formatt, ...) nogil
cdef:
double[::1] mv, mv2 = np.ones(3)
int ii, leng = 140000000
cdef double[::1] someFun(int nn) nogil:
cdef:
double[::1] mvb
with gil:
mvb = np.ones(nn, dtype=np.double)
return mvb
with nogil:
mv = someFun(leng)
printf("1st stop")
getchar()
mv = mv2
printf("2nd stop")
getchar()
对我来说有趣的部分是在第一站mv
仍然分配了数组/内存视图,但是当我取消引用它直到第二站才被释放。我只检查了内存使用情况htop
(这就是为什么选择如此大的数组),可能有更好的方法。显然,我想要发生的自由/引用计数行为,但是当它没有 GIL 时它会这样做很奇怪。也许内存视图不完全是nogil?
有人可以解释这是否是可靠的行为吗?
解决方案
在 nogil 块中更新 memoryview 的引用计数与您的函数的发生方式相同someFun
:nogil
它获取 gil 来更新引用计数。
线
with nogil:
mv = someFun(leng)
被翻译成以下 C 代码:
__pyx_t_3 = __pyx_f_3foo_someFun(__pyx_v_3foo_leng); if (unlikely(!__pyx_t_3.memview)) __PYX_ERR(0, 18, __pyx_L3_error)
__PYX_XDEC_MEMVIEW(&__pyx_v_3foo_mv, 0);
__pyx_v_3foo_mv = __pyx_t_3;
__pyx_t_3.memview = NULL;
__pyx_t_3.data = NULL;
为了绑定到新值,必须更新旧值的引用计数,这发生在__PYX_XDEC_MEMVIEW
. 它的实现可以在这里查看:
static CYTHON_INLINE void __Pyx_XDEC_MEMVIEW({{memviewslice_name}} *memslice,
int have_gil, int lineno) {
...
} else if (likely(old_acquisition_count == 1)) {
// Last slice => discard owned Python reference to memoryview object.
if (have_gil) {
Py_CLEAR(memslice->memview);
} else {
PyGILState_STATE _gilstate = PyGILState_Ensure();
Py_CLEAR(memslice->memview);
PyGILState_Release(_gilstate);
}
...
}
这意味着如果我们没有 gil (__Pyx_XDEC_MEMVIEW
使用第二个参数 = 调用0
),它将被获取以确保正确完成引用计数。
上述结果是,重新绑定内存视图并不便宜,因为它需要获取 GIL,因此应该避免在紧密的 nogil 循环中。
推荐阅读
- c - GCC 如何抑制“从指针目标类型中丢弃 'volatile' 限定符”
- r - 为什么我的摘要输出中的这个变量没有显示为 1 或 2?
- javascript - firebase__WEBPACK_IMPORTED_MODULE_2___default 错误 firebase 并做出反应
- delphi - 使用 Indy 10 接收 Unicode 字符串
- java - Quartz Job 不通过 scheduler.interrupt(jobKey) 方法中断
- video-streaming - 如何找到流媒体网站上存在的 blob 链接?
- java - 初始化子类中的父变量
- windows-ce - 在 Windows Embedded Compact 7.0 中更改显示分辨率
- python - 使用自定义基础镜像构建 Docker 镜像
- python - 这个函数会是 o(n) 时间复杂度吗?