首页 > 技术文章 > 字符编码

owasp 2016-04-26 19:38 原文


参考文章:廖雪峰字符串和编码

# 注意:在打印二进制表示时前面的0都会去掉
# 编码问题 ,b表示bytes(最前面的0去掉),\x表示16进制
# UTF-8是这样做的:
# 1. 单字节的字符,字节的第一位设为0,对于ascii字符,UTF-8码只占用一个字节,和ASCII码完全相同;
#
# 2. n个字节的字符(n>1),第一个字节的前n位设为1,第n+1位设为0,后面字节的前两位都设为10,这n个字节的其余空位填充该字符unicode码,高位用0补足。
# 这里有一个很大的问题,bin只是将数字转为二进制,unicode是2字节,内存中是unicode保存,
# ord是返回字符在unicode的位置,比如空格" "的位置是32,bin(32)就是0b100000,这样就省略了10个0,但是在打印时最前面的0会全部去掉
# 网络传输,读文件是以bytes流传输
# gbk和gb2312是两个字节
# 具体例子如下:
 1 a = " "
 2 print(bin(ord(a.encode())))       # 0b100000     # 最前面的10个0去掉
 3 print(bin(ord(a)))                # 0b100000
 4 print(ord(a))                     # 32
 5 a = "~"
 6 print(bin(ord(a.encode())))       # 0b1111110    # 最前面的9个0去掉
 7 print(bin(ord(a)))
 8 print(ord(a))                     # 126
 9 
10 a = "ab"
11 print(a.encode())       # b'ab'   # bytes
12 a = str("ab")
13 print(a.encode())       # b'ab'   # bytes     其二进制表示可以查ascii表
14 a = ""
15 print(a.encode())       # b'\xe6\x88\x91'
16 print(ord(a))           # 25105         # """ Return the Unicode code point for a one-character string. """
17 print(bin(ord(a)))      # 0b 1100010 00010001
18 print(bin(25105))       # 0b 1100010 00010001     # 返回的应该是unicode编码  ,最前面的一个0去掉了0b 01100010 00010001
19 for i in a.encode():
20     print(i)            # 230            136            145
21     print(bin(i))       # 0b11100110     0b10001000     0b10010001    则unicode编码为 0110 001000 010001
22 
23 a = ""
24 print(a.encode(encoding='gbk'))     # b'\xce\xd2'
25 
31 
32 print("".encode("gbk"))        # b'\xce\xd2'
33 for i in "".encode(encoding='gbk'):
34     print(i)                    # 206               210
35     print(bin(i))               # 0b11001110        0b11010010
36 
37 print("######")
38 print("".encode("gb2312"))  # b'\xce\xd2'
39 for i in "".encode("gb2312"):
40     print(i)                    # 206               210
41     print(bin(i))               # 0b11001110        0b11010010
42 
43 print("#############")
44 # print(str("我".encode().decode()))

 

推荐阅读