c++ - 用 cython 包装的 C++ 函数的时序
问题描述
我真的不知道如何问这个问题,但我会尽量说清楚。
我正在计时从 python 调用 C++ 函数。C++ 函数用 cython 包装。我目前正在计时 cython 函数的 python 调用,我得到 52.9 ms 的time.time()
. 另一方面,我正在使用 C++std::chrono::high_resolution_clock
库对整个 C++ 函数进行计时。
问题是,我在 C++ 中测量了 17.1 毫秒。
C++ 函数是这样声明的vector<float> cppfunc(vector<float> array, int a, int b, int c);
,是一个 A 类方法。
cython 代码只调用 C++ 类方法。该向量包含大约 320k 个元素。
我想知道这两个测量时间是否可以这样比较?如果可以,如何解释这种差距?如果不是,我应该使用哪种计时工具?
Edit1:(评论中的链接)两个计时库对于我的用例来说都足够精确(我的拱门上的 cpp 为 10e-9,python 为 10e-6)。
Edit2:添加了简化代码来说明我的观点。使用此代码,python 调用持续时间(~210ms)是实习生 cpp 持续时间(~28ms)的 8 倍。
// example.cpp
#include "example.h"
#include <iostream>
#include <chrono>
std::vector<float> wrapped_function(std::vector<float> array)
{
auto start = std::chrono::high_resolution_clock::now();
std::vector<float> result;
for (int i = 0; i < (int) array.size(); i++) {
result.push_back(array[i] / 1.1);
}
auto end = std::chrono::high_resolution_clock::now();
std::chrono::duration<float> duration = end - start;
printf("Within duration: %.5f\n", duration.count());
return result;
}
// example.h
#ifndef __EXAMPLE_H_
#define __EXAMPLE_H_
#include <vector>
std::vector<float> wrapped_function(std::vector<float> array);
#endif
# example_wrapper.pxd
from libcpp.vector cimport vector
cdef extern from "example.h":
vector[float] wrapped_function(vector[float])
# example_wrapper.pyx
from example_wrapper cimport wrapped_function
def cython_wrap(array):
return wrapped_function(array)
# setup.py
from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext
setup(
cmdclass = {"build_ext": build_ext},
ext_modules = [
Extension(name="example_wrapper",
sources=["example_wrapper.pyx", "example.cpp"],
include_dirs=["/home/SO/"],
language="c++",
extra_compile_args=["-O3", "-Wall", "-std=c++11"]
)
]
)
# test.py
import example_wrapper
from time import time
array = [i for i in range(1000000)]
t0 = time()
result = example_wrapper.cython_wrap(array)
t1 = time()
print("Wrapped duration: {}".format(t1 - t0))
解决方案
显然区别在于 cython 开销,但为什么它这么大?
包装函数的调用比看上去更复杂:
def cython_wrap(array):
return wrapped_function(array)
array
是一个整数列表,wrapped_function
是浮点数的期望向量,因此 cython 会自动创建一个向量并用列表中的值填充它。
返回一个浮点向量,wrapped_function
但为了被 python 使用,它必须转换为 python 列表。cython 再次自动创建一个 python-list 并用 python-floats 填充它,这些 python-floats 的构建成本非常高,并且对应于返回向量中的浮点数。
如您所见,正在进行大量复制,这解释了您观察到的开销。
这是从 c++ 容器转换为 python 时 cython 自动应用的一组规则。
另一个问题:您array
按值传递向量,因此必须复制它。您的 c++ 代码时间不包括此复制,因此有点不公平。
您应该通过 const-reference 传递向量,即
... wrapped_function(const std::vector<float> &array)
还有一件事:您返回一个可能也将被复制的向量,并且此复制时间再次不包含在您的 c++ 计时中。然而,所有现代编译器都应用返回值优化,所以这不是问题。
推荐阅读
- debugging - 我想成为中国的 Appetize.io(或 Browserstack)。我应该学习开源项目或知识吗?
- regex - 用于在文本文件中搜索多行字符串的正则表达式代码
- angular - 父容器的全屏对话框
- c# - SQL查询返回SSMS中的值,DataTable中的值为DBNull
- php - 如何从浏览器获取特定设备信息
- javascript - react-router 链接不适用于嵌套路由
- mysql - 存储过程中的Mysql死锁,复合唯一键
- javascript - 如何在 jQuery 中将输入值分配给我的 url 参数?
- android - Android Studio 不会自动导入包和 @override 方法以进行 Flutter 应用程序开发
- java - 寻找 javax.crypto 替代品