时间戳

首页 > 解决方案 > 如何将 C 二进制缓冲区转换为 Python 字符串中的十六进制表示？

python - 如何将 C 二进制缓冲区转换为 Python 字符串中的十六进制表示？

问题描述

众所周知pysha3与pypy不兼容，因为3年未维护，我只好自己修改。

当然，正确的方法是用纯 python 代码执行完全重写（这也将导致比当前代码更快的实现），但我缺乏密码学和背景数学所需的知识来做到这一点，而且使用它的程序是非常密集的列表（它需要一个没有用于多线程的 gil 的 python3 或带有 jit 的 python3）。

单点故障归结为这个必须由 C 代码调用的函数：

static PyObject*
_Py_strhex(const char* argbuf, const Py_ssize_t arglen)
{
    static const char *hexdigits = "0123456789abcdef";

    PyObject *retval;
#if PY_MAJOR_VERSION >= 3
    Py_UCS1 *retbuf;
#else
    char *retbuf;
#endif
    Py_ssize_t i, j;

    assert(arglen >= 0);
    if (arglen > PY_SSIZE_T_MAX / 2)
        return PyErr_NoMemory();

#if PY_MAJOR_VERSION >= 3
    retval = PyUnicode_New(arglen * 2, 127);
    if (!retval)
            return NULL;
    retbuf = PyUnicode_1BYTE_DATA(retval);
#else
    retval = PyString_FromStringAndSize(NULL, arglen * 2);
    if (!retval)
            return NULL;
    retbuf = PyString_AsString(retval);
    if (!retbuf) {
            Py_DECREF(retval);
            return NULL;
    }
#endif
    /* make hex version of string, taken from shamodule.c */
    for (i=j=0; i < arglen; i++) {
        unsigned char c;
        c = (argbuf[i] >> 4) & 0xf;
        retbuf[j++] = hexdigits[c];
        c = argbuf[i] & 0xf;
        retbuf[j++] = hexdigits[c];
    }

    return retval;
}

pypy 的 cython 兼容性级别为 3.2，并PyUnicode_New在 python3.3 中引入。

我尝试用锤子方法修复它，用以下 cython 代码替换整个文件：

cdef Py_strhex(const char* argbuf, const Py_ssize_t arglen):
    return (argbuf[:arglen]).hex()

但它似乎触发了分段错误，包括编译和使用官方 Python 实现。并且使用官方的 PyPy 二进制文件，我没有 gdb 的调试符号，所以我不知道为什么。

(gdb) bt
#0  0x00007ffff564cd00 in pypy_g_text_w__pypy_interpreter_baseobjspace_W_Root () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#1  0x00007ffff5d721a8 in pypy_g_getattr () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#2  0x00007ffff543a8bd in pypy_g_dispatcher_15 () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#3  0x00007ffff5ab909b in pypy_g_wrapper_second_level.star_2_14 () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#4  0x00007fffd7212372 in _Py_strhex.2738 () from /usr/lib64/pypy3.6-v7.2.0-linux64/site-packages/pysha3-1.0.3.dev1-py3.6-linux-x86_64.egg/_pysha3.pypy3-72-x86_64-linux-gnu.so
#5  0x00007fffd7217990 in _sha3_sha3_224_hexdigest_impl.2958 () from /usr/lib64/pypy3.6-v7.2.0-linux64/site-packages/pysha3-1.0.3.dev1-py3.6-linux-x86_64.egg/_pysha3.pypy3-72-x86_64-linux-gnu.so
#6  0x00007ffff5be2170 in pypy_g_generic_cpy_call__StdObjSpaceConst_funcPtr_SomeI_5 () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#7  0x00007ffff54b25cd in pypy_g.call_1 () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#8  0x00007ffff56715b9 in pypy_g_BuiltinCodePassThroughArguments1_funcrun_obj () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#9  0x00007ffff56ffc06 in pypy_g_call_valuestack__AccessDirect_None () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so
#10 0x00007ffff5edb29b in pypy_g_CALL_METHOD__AccessDirect_star_1 () from /usr/lib64/pypy3.6-v7.2.0-linux64/bin/libpypy3-c.so

将默认 Linux 堆栈深度增加到 65Mb 不会改变发生段错误的递归深度，因此即使堆栈深度大于 200，这似乎与堆栈溢出无关。

标签： pythoncpython-3.xcythonpypy

解决方案

就 Cython 而言，它比您想象的要简单：

cdef Py_strhex(const char* argbuf, const Py_ssize_t arglen):
    return (argbuf[:arglen]).hex()

本质上你不需要malloc（因为它丢失了一个内存泄漏free）并且你不需要memcpy. argbuf[:arglen]创建bytes具有适当长度的对象（制作数据的副本）。

这绝对适用于 CPython。在 PyPy2 上，它产生AttributeError: 'str' object has no attribute 'hex'，这对于 Python 2 是正确的。我想如果它产生分段错误，它会在它之前发生，AttributeError所以这是有希望的。我没有现成的 PyPy3...

编辑：

我现在已经设法在 PyPy3 上测试我的代码，如下所示：

# extra Cython code just to call the function
def test():
    cdef const char* a = "0123456789"
    return Py_strhex(a,10)

然后从Python：

import modulename
modulename.test()

这在没有分段错误的情况下工作正常；因此我非常相信这段代码很好。

我不知道您是如何调用 Cython 代码的，因为您没有说；但是，Cython 不会生成 C 代码，目的是您只是复制单个函数。它生成一个模块并且该模块期望被导入（在模块导入期间设置了一些东西）。具体来说，Cython 在模块初始化期间设置了一个字符串表，包括"hex"用于查找属性的字符串。要正确使用此代码，您需要确保首先导入它所包含的模块，而不仅仅是将生成的 Cython 代码的副本转储到 C 文件中。在 Python 3 中这样做有点复杂，可能不适合您的目的。

我将把这个答案保持在当前状态，因为我相信它是正确的，并且问题发生在您未指定的部分中。它很可能对您没有用，您可以随意忽略它。

推荐阅读