python - 用起始字节确定项目的编码

Question

我最近遇到了这个字符串：b'\xd5\xa3Lk\xd4\xad\xaeH\xb8\xae\xab\xd8EL3\xd1RR\x17\x0c\xea~\xfa\xd0\xc9\xfeJ\x9aq\xd0\xc57\xfd\xfa\x1d}\x8f\x99?*\xef\x88\x1e\x99\x8d\x81t`1\x91\xebh\xc5\x9d\xa7\xa5\x8e\xb9X'我想解码它。现在我知道这可以用 python withstring.decode()但它需要一个编码。如何确定解码此字符串的编码？

标签： python

Answer 1

我之前对您的问题的评论，部分准确，部分错误。从标准编码的文档中：

如果没有外部信息，就不可能可靠地确定使用哪种编码对字符串进行编码。每个charmap编码都可以解码任何随机字节序列。但是，UTF-8 无法做到这一点，因为 UTF-8 字节序列的结构不允许任意字节序列。

因此，您应该尝试使用 'utf-8-sig' 进行解码（对于一般情况下，字节顺序标记或 BOM 可能作为前 3 个字节出现 - 这不是您的示例的情况，因此您可以使用'utf-8'）。但是，如果失败，则无法保证您知道使用试错解码使用了什么编码，因为根据上述文档，尝试使用另一个编解码器进行解码可能会成功（并且可能会给您带来垃圾）。如果 `utf-8' 解码成功，它可能是使用的编码。见下文。

s = 'abcde'
print(s.encode('utf-32').decode('utf-16'))
print(s.encode('cp500').decode('latin-1'))

印刷：

 a b c d e
�����

当然，“utf-8”编码也将成功解码使用“ascii”编解码器编码的字符串，因此存在这种不确定性。