〔 字符编码是Python开发者的基本功,Unicode、UTF-8、ASCII、GBK…… 本文围绕网民最常搜索的编码热点,提供深度示例与解析。〕
| 编码名称 | 字节数 | 特点 | Python表示 |
|---|---|---|---|
| ASCII | 1字节 | 0-127,英文字母/数字 | b'hello' |
| GBK | 1~2字节 | 中文编码,兼容ASCII | '你好'.encode('gbk') |
| UTF-8 | 可变 1~4 | 全球通用,web标准 | '编码'.encode('utf-8') |
| UTF-16 | 2或4字节 | Java/Windows内部 | 'py'.encode('utf-16') |
Python3中 str 是Unicode序列,bytes 是原始字节。使用 .encode() 与 .decode() 转换。
text = "快速入门"
byte_data = text.encode('utf-8')
print(byte_data) # b'\xe5\xbf\xab\xe9\x80\x9f...'
errors='replace' 或 'ignore'使用 chardet 库自动检测编码,尤其适合爬虫和文件读取。
import chardet raw = b'\xc4\xe3\xba\xc3' result = chardet.detect(raw) print(result['encoding']) # GB2312
GBK 转 UTF-8 是常见需求:先decode成Unicode,再encode为目标编码。
s_gbk = '编码'.encode('gbk')
unicode_str = s_gbk.decode('gbk')
utf8_bytes = unicode_str.encode('utf-8')
print(utf8_bytes)
⚡ 注意:decode 与 encode 参数一一对应,否则出现乱码。
UTF-8 BOM (\xef\xbb\xbf) 常导致解析异常。用 codecs 或 open(encoding='utf-8-sig') 自动剥离。
with open('file.txt', 'r', encoding='utf-8-sig') as f:
content = f.read() # BOM自动移除
网友提问:Excel导出的CSV带BOM,Python读入第一行出现?答:使用 utf-8-sig 即可。
文本文件务必指定 encoding 参数。二进制模式 (rb, wb) 不涉及编码。
with open('data.txt', 'w', encoding='utf-8') as f:
f.write('Python字符编码实战')
如果不指定,依赖系统默认编码,跨平台易出错。
乱码本质:编码/解码方式不匹配。例如用GBK解码UTF-8字节流。
<meta charset> 与服务器响应头utf8mb4PYTHONIOENCODING=utf-8HTTP默认ISO-8859-1,但现代API多用UTF-8。使用 requests 库自动解码。
import requests
r = requests.get('https://api.example.com')
r.encoding = 'utf-8' # 手动指定
data = r.text
⚡ 抓取网页时,从 Content-Type 或 charset 检测编码。
charset='utf8mb4'# -*- coding: utf-8 -*-pathlib 读写文本,指定 encodingtext = "Python编码"
for ch in text:
print(ch, ord(ch), hex(ord(ch)))
输出字符、Unicode码点、十六进制。理解ord()与chr()。
data = b'\xff\xfe\x61\x00'
text = data.decode('utf-16', errors='replace')
print(text) # 用替换无效字符
from urllib.parse import quote, unquote
url = quote('快速入门', safe='')
print(url) # %E5%BF%AB%E9%80%9F...
7位编码,128个字符,奠定计算机文本基础。
收录6763个汉字,双字节编码,后扩展为GBK。
统一全球字符集,码点范围0~0x10FFFF。
Ken Thompson 发明,变长编码,兼容ASCII,成为Web首选。
Python3 字符串为Unicode,告别乱码时代。
编码可逆(如UTF-8↔Unicode),哈希不可逆(如SHA256)。编码用于存储传输,哈希用于校验。
使用 re 匹配中文字符:[\u4e00-\u9fff]。注意正则字符串本身编码。
import re
pattern = re.compile(r'[\u4e00-\u9fff]+')
print(pattern.findall('hello 世界'))
json.dumps 默认 ensure_ascii=True,中文转义为\uXXXX。设置 ensure_ascii=False 保留中文。
MySQL 建库: CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;Python连接设置 charset='utf8mb4'。
在Python2中,str 即字节串,导致编码处理混乱。Python3将文本与二进制彻底分离:str 存储Unicode码点,bytes 存储原始字节。当你从网络接收数据,得到的是 bytes,必须调用 .decode() 获得字符串;反之,写入文件或网络前,需 .encode()。这一设计让编码错误在转换边界暴露,而非隐藏。网友常问:为什么 len('中文') 是2,而 len('中文'.encode('utf-8')) 是6?因为前者是字符数,后者是字节数。理解这一区别,是快速入门字符编码的关键一步。
此外,BOM、BIG5、Shift-JIS 等编码在处理跨国文本时经常出现。比如日本用户常遇到 Shift-JIS 与 EUC-JP 的转换。Python的 codecs 模块提供了强大的编解码器。使用 codecs.open() 可以透明处理编码。同时,chardet 库是自动检测编码的利器,尤其适合老旧文档。总之,掌握encode/decode 这对方法,就掌握了字符编码的钥匙。
〔 本文所有示例均在Python 3.11+ 验证,覆盖网民最关心的编码场景。〕