首页 > 技术文章 > 编码/解码(迁移)

justaman 2019-08-19 15:29 原文

文本文件保存之前,敲入的只是字符集;

保存,就是将内存的敲入的字符编码产生0和1,然后写入到磁盘中

保存后,本质就是一堆0和1

 

编码分为:读和写

即写入时用何种编码,读出时又以何种编码

 

写入时:

点击-保存,才会根据指定的类型进行编码;而怎么指定,两种方法:在开头加 # coding:gbk,或者在右下角选择编码方式

 

读出时:

打开文件时,如果保存时的编码与读出时的编码不一致,会导致乱码

而运行python文件时会报错

如:python默认编码/解码方式是utf-8,在运行时之前如果是其他编码方式,则会报错,会被识别

至于为什么报错,就不得而知了,(python解释器看到的只是0和1,并不知道本来是什么字符,怎么知道对不对)

decode()方法中,(result, consumed) = self._buffer_decode(data, self.errors, final)报的错

 

Unicode为世界上所有字符都分配了一个唯一的数字编号,这个编号范围从 0x000000 到 0x10FFFF(十六进制)

获取“树”的utf-8码的过程,先根据汉字找到其Unicode编号,再根据utf-8的规则,由Unicode的二进制产生utf-8的二进制

 

encode/decode

每种编码都有一张编码表,记录字符与二进制(16进制)数字之间的对应关系

encode(encoding=xx),根据encoding进行编码,即:按照编码表,将字符转换为16进制的码

decode(),按照编码表,将16进制的码转换为字符

 

# coding:gbk

用来指明此文件编码与解码的格式;

保存时,是什么就保存成什么格式的编码

读取时,以指定编码进行读取

 

sys.setdefaultencoding(),获取python默认编码格式

 

参考:

Python3 字符编码

Unicode与UTF-8的区别

GBK与UTF-8编码错误转换后,无法再正确恢复

推荐阅读