从底层原理到工业级实践,全面解析Python中16进制字符串与字节序列的转换技术,涵盖bytes、str、hex、decode、encode、base16等核心操作,附带可运行代码示例与调试技巧。
16进制(Hexadecimal)是一种以16为基数的数字表示法,使用数字0~9和字母A~F(或a~f)表示0至15的数值。在计算机科学中,16进制常用于简洁表示二进制数据,因为每4位二进制数可对应1位16进制数,即1字节(8位)可用2位16进制字符表示。
例如:0b11111111(二进制) = 255(十进制) = FF(16进制)。在Python中,16进制字面量以0x或0X前缀标识,如0xFF。
💡 提示:Python中所有字符串本质上是Unicode字符序列,而字节序列(bytes)是原始的二进制数据。16进制字符串是字节序列的文本表示形式,常用于网络传输、文件存储或日志记录等场景。
在Python 3中,str类型表示Unicode文本,而bytes类型表示不可变的字节序列。两者之间不能直接相加或比较,必须通过编码(encode)与解码(decode)进行显式转换:
str.encode(encoding):将Unicode字符串转为字节序列,例如'A'.encode('utf-8') → b'A'。bytes.decode(encoding):将字节序列转为Unicode字符串,例如b'A'.decode('utf-8') → 'A'。当涉及16进制转换时,关键在于明确数据当前状态(是16进制字符串?还是原始字节?)以及目标状态(要得到原始文本?还是可读的16进制表示?)。
hex()函数可直接用于bytes对象 → 实际上,hex()仅适用于整数类型,如hex(255)返回'0xff'。str(b'4142')可还原为'AB' → 实际上,该操作仅将bytes对象转为字符串表示形式"b'4142'",而非解码。'4142'等价于'AB' → 严格来说,前者是后者的16进制表示,但二者在编码方式、字节长度上完全不同。bytes.fromhex()与.hex()这是最直接且高效的方式,适用于标准16进制字符串(仅含0-9、a-f、A-F,且长度为偶数)与字节序列之间的双向转换:
# 16进制字符串 → 字节序列
hex_str = "48656c6c6f20576f726c64" # "Hello World"的UTF-8 16进制表示
byte_data = bytes.fromhex(hex_str) # b'Hello World'
# 字节序列 → 16进制字符串
original_text = "测试123"
byte_data2 = original_text.encode("utf-8") # b'\xe6\xb5\x8b\xe8\xaf\x95123'
hex_result = byte_data2.hex() # "e6b58be8af95313233"
✅ 优势:内置方法,性能高,自动处理奇偶长度校验(长度为奇数时抛ValueError)。
⚠️ 注意:若16进制字符串含空格、非十六进制字符或长度为奇数,会抛出异常:
⚠️ 错误示例:bytes.fromhex("48 65 6c") → 抛出ValueError: non-hexadecimal number found in fromhex()(空格不被允许);bytes.fromhex("486") → 抛出ValueError: odd length string。
binascii.unhexlify()与.hexlify()该方法来自binascii模块,功能与bytes.fromhex()类似,但对输入校验更严格(不允许任何非十六进制字符):
import binascii
# 16进制字符串 → 字节序列
hex_str = "414243" # "ABC"
byte_data = binascii.unhexlify(hex_str) # b'ABC'
# 字节序列 → 16进制字符串
original = b"Python"
hex_result = binascii.hexlify(original).decode("ascii") # "507974686f6e"
✅ 优势:适用于二进制安全场景(如密码学),结果始终为bytes类型,需手动调用.decode()转为字符串。
⚠️ 注意:输入必须为纯十六进制字符串(如含空格、换行会失败);hexlify返回bytes,需解码为ASCII字符串。
当需要处理含空格、换行或非标准格式的16进制字符串时,可手动拆分并转换:
def hex_to_bytes(hex_str):
# 移除空格、换行,转小写
clean_hex = hex_str.replace(" ", "").replace("\n", "").lower()
# 长度补零(奇数补0)
if len(clean_hex) % 2 == 1:
clean_hex = "0" + clean_hex
# 分组转换
return bytes(int(clean_hex[i:i+2], 16) for i in range(0, len(clean_hex), 2))
# 示例:含空格的16进制字符串
hex_with_spaces = "48 65 6c 6c 6f"
result = hex_to_bytes(hex_with_spaces) # b'Hello'
✅ 优势:高度灵活,可自定义校验规则(如忽略非法字符、自动补零)。
⚠️ 注意:需自行处理异常(如非法字符、空输入),建议封装为函数复用。
codecs.decode()与codecs.encode()通过codecs模块指定'hex'编解码器,实现转换:
import codecs
# 16进制字符串 → 字节序列
hex_str = "414243"
byte_data = codecs.decode(hex_str, 'hex') # b'ABC'
# 字节序列 → 16进制字符串
original = b"Test"
hex_result = codecs.encode(original, 'hex').decode("ascii") # "54657374"
✅ 优势:支持多种编解码器(如'base64'、'rot13'),统一API风格。
⚠️ 注意:Python 3.12起codecs模块的'hex'编解码器被标记为DeprecationWarning,推荐优先使用bytes.hex()与bytes.fromhex()。
ASCII字符(0~127)在UTF-8中与单字节16进制值一一对应(如0x41 = 'A'),但超出ASCII范围的字符(如中文)会占用多字节,导致16进制长度与字符数不成比例:
# ASCII字符:1字符 = 2位16进制
"AB".encode("utf-8").hex() # "4142"
# 中文字符:1字符 = 6位16进制(UTF-8)
"测试".encode("utf-8").hex() # "e6b58be8af95"
若错误地将UTF-8的16进制字符串按ASCII解码(如"e6b58be8af95".encode("ascii")),会得到乱码"æµè¯"而非原始中文。
中文Windows系统默认使用GBK编码,其中文字符占2字节,16进制长度为4位/字符。需显式指定编码格式:
# GBK编码转换
gbk_hex = "cec4bac3" # "测试"的GBK 16进制表示
gbk_bytes = bytes.fromhex(gbk_hex) # b'\xce\xc4\xba\xc3'
text = gbk_bytes.decode("gbk") # "测试"
⚠️ 注意:若误用UTF-8解码GBK数据,会抛出UnicodeDecodeError:
⚠️ 错误示例:bytes.fromhex("ce c4 ba c3").decode("utf-8") → UnicodeDecodeError: 'utf-8' codec can't decode byte 0xce in position 0: invalid continuation byte。
Base16是RFC 4648定义的标准编码方案,与Python的.hex()输出完全一致(大小写可选),但与Base64不同(Base64使用64个字符表示数据,而Base16使用16个字符)。Python的base64.b16encode()与b16decode()可实现Base16编解码:
import base64
# 字节序列 → Base16字符串(大写)
base16_str = base64.b16encode(b"Hi").decode("ascii") # "4869"
# Base16字符串 → 字节序列
base64.b16decode("4869".encode("ascii")) # b'Hi'
✅ 优势:Base16是标准协议(如TLS握手、证书指纹),而Python的.hex()是其子集实现。
ValueError: non-hexadecimal number found原因:输入字符串含非十六进制字符(如g、!、空格等)。解决方案:
re.sub(r'[^0-9a-fA-F]', '', hex_str)移除非十六进制字符。all(c in '0123456789abcdefABCDEF' for c in hex_str)。import re
hex_dirty = "48 65 6c 6c 6f!"
clean_hex = re.sub(r'[^0-9a-fA-F]', '', hex_dirty) # "48656c6c6f"
UnicodeDecodeError: 'utf-8' codec can't decode原因:字节序列不符合目标编码规则(如用UTF-8解码GBK数据)。解决方案:
decode("gbk")、decode("latin-1")。decode("utf-8", errors="ignore")跳过非法字节,errors="replace"用�替换。bytes.fromhex("ce c4").decode("utf-8", errors="replace") # "�"
odd length string原因:16进制字符串长度为奇数(如"486"),因每2位对应1字节。解决方案:
hex_str.zfill(len(hex_str) + len(hex_str) % 2)。len(hex_str) % 2 == 0。def safe_fromhex(hex_str):
if len(hex_str) % 2 == 1:
hex_str = "0" + hex_str
return bytes.fromhex(hex_str)
safe_fromhex("486") # b'\x04H'
在抓包工具(如Wireshark)导出的Hex Dump中,数据常以空格分隔的16进制表示。以下为解析示例:
def parse_packet(hex_dump):
# 移除换行与空格,合并为连续16进制字符串
clean = "".join(hex_dump.strip().split())
# 转字节序列
data = bytes.fromhex(clean)
# 提取前4字节作为长度字段(大端序)
length = int.from_bytes(data[:4], "big")
# 提取有效载荷
payload = data[4:4+length].decode("utf-8", errors="ignore")
return payload
# 示例数据(Wireshark格式)
packet = """00 00 00 05 48 65 6c 6c 6f"""
print(parse_packet(packet)) # "Hello"
✅ 应用:物联网设备通信、嵌入式系统日志解析。
哈希值(如SHA-256)通常以16进制字符串表示。以下为验证文件完整性的示例:
import hashlib
def verify_file(file_path, expected_hash):
with open(file_path, "rb") as f:
data = f.read()
# 计算SHA-256哈希值(16进制字符串)
actual_hash = hashlib.sha256(data).hexdigest()
return actual_hash.lower() == expected_hash.lower()
# 示例:验证文件哈希
file_hash = "e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855" # 空文件SHA-256
print(verify_file("empty.txt", file_hash)) # True
✅ 应用:软件分发校验、区块链交易签名验证。
在TLS/SSL握手过程中,密钥材料常以16进制字符串传输。以下为AES密钥生成示例:
import hashlib
from cryptography.hazmat.primitives.ciphers import Cipher, algorithms, modes
def derive_aes_key(password, salt):
# PBKDF2派生密钥(32字节 = 256位)
key = hashlib.pbkdf2_hmac("sha256", password.encode(), salt, 100000)
return key.hex() # 返回16进制字符串
# 示例:生成密钥
password = "mypassword"
salt = b"salt1234"
aes_key_hex = derive_aes_key(password, salt) # "a1b2c3..."
aes_key_bytes = bytes.fromhex(aes_key_hex) # 转为字节用于加密
✅ 应用:安全通信、数据加密存储。
bytes.fromhex() / .hex()。binascii.unhexlify() / .hexlify()。bytes.fromhex()。codecs模块(注意Python 3.12+弃用警告)。chardet库自动检测未知编码(需安装:pip install chardet)。errors="replace"避免程序崩溃。.hex()默认小写)。import chardet
def detect_encoding(data):
result = chardet.detect(data)
return result["encoding"], result["confidence"]
# 示例:检测未知编码的字节数据
unknown_bytes = b"\xce\xc4\xba\xc3" # "测试"的GBK数据
encoding, confidence = detect_encoding(unknown_bytes)
print(f"编码: {encoding}, 置信度: {confidence:.2%}") # "编码: GBK, 置信度: 99%"
✅ 适用场景:处理用户上传的未知编码文件、日志数据清洗。