Python发送16进制数据权威指南

从字节打包、串口通信到工业协议,手把手实战解析底层通信核心技能

一、为何需要发送16进制数据?

在嵌入式系统、工业控制、物联网设备通信等场景中,设备间交互普遍采用16进制数据作为底层传输格式。相比文本协议,16进制数据具备以下显著优势:

以Modbus RTU协议为例,其帧结构严格规定以字节序列发送,其中功能码、数据域均需以16进制形式组织。若错误使用字符串"0x01"而非字节b'\x01',将导致设备无法识别指令,引发通信失败。

⚠️ 常见误区:直接发送字符串"0A1B" ≠ 字节序列b'\x0a\x1b'。前者是6字节ASCII,后者才是真正的2字节二进制数据。

Python作为胶水语言,在底层通信开发中具有天然优势。其内置bytes类型、struct模块、serial库等,为16进制数据处理提供完整工具链。本文将系统梳理常见场景与最佳实践,助您规避陷阱、提升开发效率。

主流应用场景概览

  • 🔹 串口调试:向PLC、传感器、单片机发送AT指令、配置帧
  • 🔹 网络编程:通过TCP/UDP发送自定义二进制协议包
  • 🔹 工业协议:Modbus RTU/TCP、CANopen、Profinet帧构建
  • 🔹 物联网设备:LoRa、NB-IoT模块的HEX指令下发
  • 🔹 固件升级:通过串口/网络传输.bin文件的二进制流

二、Python中16进制数据的三大核心表示法

Python处理16进制数据需明确区分三种等价但用途不同的表示方式,混淆使用是90%通信故障的根源:

字符串HEX
字节序列bytes
整型int

1. 字符串HEX(Hex String)

以字符串形式存储的16进制字符序列,如"01AF3C",本质是ASCII编码的文本。常用于配置文件、日志记录、用户输入界面。

"01AF3C" # 长度6,每个字符是ASCII type("01AF3C") #

⚠️ 注意:字符串"0x01" ≠ 字节b'\x01'!前者是4字节('0','x','0','1'),后者是1字节(0x01)。

转换方法

# 字符串转字节(关键!) data_hex = "01AF3C" data_bytes = bytes.fromhex(data_hex) # b'\x01\xaf<'

💡 技巧:若字符串含空格(如"01 AF 3C"),需先移除空格:bytes.fromhex(data_hex.replace(" ", ""))

2. 字节序列bytes

真正的二进制数据,Python的bytes类型。每个元素是0~255的整数,如b'\x01\xaf\x3c'。这是串口、Socket通信的**唯一**有效格式。

b'\x01\xaf\x3c' # 长度3,每个元素是字节 type(b'\x01\xaf\x3c') #

创建字节序列的常用方式:

# 方法1:fromhex data_bytes = bytes.fromhex("01AF3C") # 方法2:直接字面量 data_bytes = b'\x01\xaf\x3c' # 方法3:bytearray可变序列 data_bytes = bytearray([1, 175, 60]) # 注意:175 = 0xAF

调试技巧

打印字节序列时,Python会以可读形式展示(如b'\x01\xaf<'),其中0x3c对应ASCII字符'<'。实际发送时仍为原始字节流。

3. 整型int

整数表示法用于单字节或小整数场景,如状态码、长度字段。Python的int类型支持无限精度,但通信中通常限制在0~255(单字节)或0~65535(双字节)。

value = 0x01AF # 16进制字面量 = 431 (十进制) value.to_bytes(2, byteorder='big') # b'\x01\xaf'

字节序(Endianness)要点

  • 大端(Big-Endian):高位字节在前(网络标准),如0x1234 → b'\x12\x34'
  • 小端(Little-Endian):低位字节在前(x86架构),如0x1234 → b'\x34\x12'

工业设备多采用大端序,但Modbus RTU协议规定数据域为大端,而功能码/地址可能混合字节序,需严格按协议手册处理。

字符编码陷阱与解决方案

当16进制数据包含可打印字符时,错误编码会导致乱码。例如:b'\xc4\xe3'在GBK中是"你好",在UTF-8中是乱码"ôã"。

✅ 黄金法则:通信中所有字节应视为二进制流,避免依赖编码转换!仅在调试时用repr()或hex()查看。

三、串口通信:Python发送16进制数据实战

串口(UART)是嵌入式开发最常用接口,其数据传输以字节流形式进行,**必须使用bytes类型**。常用库有pyserial(跨平台)和pywin32(Windows专用)。

环境准备

pip install pyserial

基础发送流程

import serial # 打开串口 ser = serial.Serial(port='COM3', baudrate=9600, timeout=1) # 构建指令帧(以Modbus读取保持寄存器为例) # 功能码0x03 + 起始地址0x0001 + 寄存器数0x0002 cmd = bytes.fromhex("01 03 00 01 00 02") # 6字节帧 # 发送数据 ser.write(cmd) # 关闭串口 ser.close()

常见错误与规避方案

错误1:发送字符串而非字节

# 错误!TypeError: a bytes-like object is required ser.write("010300010002")

✅ 正确写法:ser.write(bytes.fromhex("010300010002"))

错误2:忽略校验位与停止位配置

设备手册要求:8数据位、1停止位、无校验(8N1),但误设为8E1会导致奇偶校验位插入,破坏帧结构。

# 正确配置 ser = serial.Serial(port='COM3', baudrate=9600, bytesize=serial.EIGHTBITS, # 8数据位 parity=serial.PARITY_NONE, # 无校验 stopbits=serial.STOPBITS_ONE) # 1停止位

高级技巧:动态构建指令帧

实际项目中需根据参数动态生成帧,以下为通用Modbus RTU帧构建器:

def build_modbus_rtu_frame(slave_id, func_code, start_addr, reg_count): # 功能码 + 起始地址 + 寄存器数 data = bytes([slave_id, func_code]) data += start_addr.to_bytes(2, byteorder='big') data += reg_count.to_bytes(2, byteorder='big') return data # 调用示例:读取从站1的地址0x0005的3个寄存器 frame = build_modbus_rtu_frame(1, 3, 5, 3) # b'\x01\x03\x00\x05\x00\x03'

读取响应并验证

串口通信需处理响应帧,以下为Modbus响应解析示例:

# 接收12字节响应(功能码+字节数+数据+CRC) response = ser.read(12) # 验证从站ID和功能码 assert response[0] == 0x01 # 从站ID assert response[1] == 0x03 # 功能码 # 提取数据(2字节/寄存器,大端序) reg1 = int.from_bytes(response[3:5], byteorder='big') reg2 = int.from_bytes(response[5:7], byteorder='big')

超时与异常处理

工业现场易受干扰,需设置重试机制:

import time def send_with_retry(ser, cmd, retries=3): for i in range(retries): ser.write(cmd) response = ser.read(10) if len(response) > 0: return response time.sleep(0.1) # 等待设备响应 raise TimeoutError("设备无响应")

四、网络通信:Socket发送16进制数据详解

网络通信中,16进制数据常用于自定义协议、二进制RPC或替代JSON的高效传输。需注意TCP流式传输的粘包/拆包问题。

基础Socket发送

import socket # 创建TCP socket client = socket.socket(socket.AF_INET, socket.SOCK_STREAM) client.connect(('192.168.1.100', 502)) # 构建Modbus TCP帧(PDU + MBAP头) mbap = b'\x00\x01\x00\x00\x00\x06' # 事务ID+协议+长度 pdu = bytes.fromhex("01 03 00 01 00 02") # 功能码帧 frame = mbap + pdu # 发送 client.sendall(frame) # 接收 response = client.recv(1024) client.close()

自定义协议帧结构示例

设计一个简单二进制协议:

  • 头标识(4字节):0x55AA55AA
  • 版本号(1字节):0x01
  • 功能码(1字节):0x03
  • 数据长度(2字节,大端)
  • 数据体(变长)
  • CRC16校验(2字节)

动态构建协议帧

def build_custom_frame(data): header = b'\x55\xAA\x55\xAA' # 固定头 version = b'\x01' # 版本1.0 func_code = b'\x03' # 功能码3 length = len(data).to_bytes(2, byteorder='big') # 数据长度 crc = calculate_crc16(header + version + func_code + length + data) return header + version + func_code + length + data + crc def calculate_crc16(data): crc = 0xFFFF for byte in data: crc ^= byte for _ in range(8): if crc & 0x0001: crc = (crc >> 1) ^ 0xA001 else: crc >>= 1 return crc.to_bytes(2, byteorder='little')

处理粘包问题

TCP是流协议,需按帧长度解析。以下为基于长度字段的解包器:

def parse_frames(data_stream): frames = [] offset = 0 while offset + 8 <= len(data_stream): # 最小帧长8字节 if data_stream[offset:offset+4] == b'\x55\xAA\x55\xAA': length = int.from_bytes(data_stream[offset+6:offset+8], 'big') frame_end = offset + 8 + length + 2 # +2 for CRC if frame_end <= len(data_stream): frames.append(data_stream[offset:frame_end]) offset = frame_end else: break # 数据不完整 else: offset += 1 # 同步头未找到,继续搜索 return frames

UDP广播发送(无需连接)

适用于设备发现、状态广播:

import socket sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) sock.setsockopt(socket.SOL_SOCKET, socket.SO_BROADCAST, 1) # 发送发现帧 discovery = b'\xFF\xFF\xFF\xFF\x01\x00' # 广播帧 sock.sendto(discovery, ('', 9000)) sock.close()

五、工业协议实战:Modbus RTU/TCP16进制数据构建

Modbus是工业通信事实标准,其16进制数据帧结构严格,需精确实现。

Modbus RTU帧结构详解

  • 从站地址(1字节):0x01~0xF7
  • 功能码(1字节):0x01(读线圈)、0x03(读保持寄存器)等
  • 起始地址(2字节,大端)
  • 数据长度(2字节,大端)
  • CRC16校验(2字节,小端)

完整Modbus RTU发送代码

import serial def modbus_rtu_read_holding_registers(slave_id, start_addr, count): # 构建PDU pdu = bytes([ 0x03, # 功能码 (start_addr >> 8) & 0xFF, # 高8位 start_addr & 0xFF, # 低8位 (count >> 8) & 0xFF, # 高8位 count & 0xFF # 低8位 ]) # 添加CRC crc = calculate_crc16(bytes([slave_id, 0x03]) + pdu[1:]) return bytes([slave_id]) + pdu + crc def calculate_crc16(data): crc = 0xFFFF for byte in data: crc ^= byte for _ in range(8): crc = (crc >> 1) ^ 0xA001 if crc & 0x0001 else crc >> 1 return crc.to_bytes(2, byteorder='little') # 使用示例 ser = serial.Serial('COM3', 9600) frame = modbus_rtu_read_holding_registers(1, 0x0005, 3) ser.write(frame) response = ser.read(11) # 7字节响应(功能码+字节数+数据+CRC)

Modbus TCP帧结构

Modbus TCP在TCP之上增加MBAP头(7字节),PDU结构与RTU相同:

  • 事务ID(2字节):随机生成,用于匹配请求/响应
  • 协议ID(2字节):固定0x0000
  • 长度(2字节):后续字节数(从站地址+PDU)
  • 单元ID(1字节):从站地址
  • PDU(变长):与RTU功能码帧一致

Modbus TCP发送代码

import socket def modbus_tcp_read_holding_registers(transaction_id, slave_id, start_addr, count): # 构建MBAP头 mbap = transaction_id.to_bytes(2, 'big') mbap += b'\x00\x00' # 协议ID pdu_len = 6 # 从站地址(1) + PDU(5) mbap += pdu_len.to_bytes(2, 'big') mbap += slave_id.to_bytes(1, 'big') # 单元ID # 构建PDU pdu = bytes([ 0x03, # 功能码 (start_addr >> 8) & 0xFF, start_addr & 0xFF, (count >> 8) & 0xFF, count & 0xFF ]) return mbap + pdu # 使用示例 sock = socket.socket() sock.connect(('192.168.1.100', 502)) frame = modbus_tcp_read_holding_registers(0x1234, 1, 0x0005, 3) sock.sendall(frame) response = sock.recv(1024)

常见设备响应异常码

异常码含义原因
0x01非法功能设备不支持该功能码
0x02非法数据地址起始地址超出寄存器范围
0x03非法数据值写入值超出设备允许范围
0x04设备故障设备内部处理错误

六、CRC校验:确保16进制数据传输可靠性

CRC(循环冗余校验)是工业通信的标配,用于检测传输错误。常见类型有CRC16-CCITT、CRC16-Modbus、CRC32。

CRC16-Modbus计算实现

def crc16_modbus(data): """计算Modbus RTU使用的CRC16(小端序)""" crc = 0xFFFF for byte in data: crc ^= byte for _ in range(8): if crc & 0x0001: crc = (crc >> 1) ^ 0xA001 else: crc >>= 1 return crc.to_bytes(2, byteorder='little')

在线CRC校验工具对比

输入HEX预期CRC(小端)本机计算结果
01 03 00 01 00 020x8B A1✓ b'\x8B\xA1'
FF FF FF FF0x49 D4✓ b'\x49\xD4'

其他常用CRC算法

CRC16-CCITT
CRC32

CRC16-CCITT(0x1021初始值)

def crc16_ccitt(data): crc = 0xFFFF for byte in data: crc ^= byte << 8 for _ in range(8): if crc & 0x8000: crc = (crc << 1) ^ 0x1021 else: crc <<= 1 crc &= 0xFFFF return crc.to_bytes(2, byteorder='big') # 大端序

✅ 典型应用:ISO 14443-3(NFC)、MIFARE卡通信

CRC32(以太网标准)

def crc32(data): crc = 0xFFFFFFFF for byte in data: crc ^= byte for _ in range(8): if crc & 0x00000001: crc = (crc >> 1) ^ 0xEDB88320 else: crc >>= 1 return (~crc & 0xFFFFFFFF).to_bytes(4, byteorder='little')

✅ 典型应用:ZIP文件、PNG图片、以太网帧

校验失败处理策略

🔍 工业现场建议:当CRC校验失败时,自动重发请求3次;若仍失败,记录日志并触发告警。

七、高频问题解答:网友最关心的16进制数据问题

Q1:为什么发送后设备无响应?

排查步骤:

  • ① 检查波特率、校验位是否与设备手册一致(9600 8N1最常见)
  • ② 用串口助手验证帧结构:发送"01 03 00 01 00 02"(HEX模式)
  • ③ 确保CRC正确:用在线工具计算后对比
  • ④ 检查接线:TXD-RXD交叉连接,GND共地
Q2:如何发送包含中文的16进制数据?

⚠️ 警告:中文字符在UTF-8中占3字节,可能导致设备解析错误!

正确做法:设备若要求ASCII编码,需转换为HEX字符串再转字节:

# 错误!中文直接转bytes会乱码 data = "你好".encode('utf-8') # b'\xE4\xBD\xA0\xE5\xA5\xBD' # 正确!转换为HEX字符串再处理 text = "你好" hex_str = text.encode('utf-8').hex() # 'e4bda0e5a5bd' data = bytes.fromhex(hex_str) # b'\xe4\xbd\xa0\xe5\xa5\xbd'

💡 提示:工业设备通常不支持中文,建议用英文代码标识。

Q3:如何调试复杂帧结构?

调试技巧三板斧

  • ① 分段发送:先发固定头,再发PDU,观察设备反应
  • ② 日志记录:发送前打印repr(frame),保存为Hex日志
  • ③ 协议分析仪:用Wireshark(TCP)或Bus Pirate(串口)抓包对比
Q4:发送速度慢怎么办?

优化方案:

  • ① 使用非阻塞模式:serial.Serial(..., timeout=0)
  • ② 批量发送:将多帧合并为一个socket.sendall()调用
  • ③ 避免频繁开闭串口:保持连接复用
# 非阻塞串口写入 ser.write(cmd) time.sleep(0.01) # 短延迟等待响应 if ser.in_waiting: response = ser.read(ser.in_waiting)

网友还关心的问题

  • • 如何用Python模拟Modbus从站? → 用pymodbus库
  • • 如何解析二进制日志文件? → struct.unpack(">H", data[0:2])
  • • 如何与Arduino通信? → Arduino用Serial.write()发送字节流
  • • 如何处理负数? → 使用补码表示:-1 → 0xFF(8位)