〈Python逐行读取文件〉完全指南
掌握 readline、for循环遍历 与 内存优化,轻松应对日志分析、数据处理等场景。
〔 核心方法详解 〕
★ for line in file · 最Pythonic的方式
直接使用 for line in file 迭代文件对象,Python解释器自动缓冲读取,内存占用极低。每一行包含换行符,常搭配 line.strip() 使用。例如处理CSV数据时:
with open('data.txt', 'r', encoding='utf-8') as f:
for line in f:
clean = line.strip()
if clean:
print(f"→ {clean}")
⚡ 网友实测:处理2.3GB日志文件仅占用约40MB内存,速度达每秒120万行。
◈ readline() 逐行控制
readline() 每次读取一行,返回字符串(包含换行符),适合需要条件中断的场景。比如读取到特定标记停止:
with open('search.log', 'r') as f:
while True:
line = f.readline()
if not line:
break
if 'ERROR' in line:
print(f"⚠️ 发现错误:{line.strip()}")
〈注意〉 需手动判断空字符串终止循环,避免无限读取。
◆ readlines() 列表化读取
readlines() 一次性将文件所有行读入列表,小文件适用(<50MB)。可快速索引第N行:
lines = open('config.ini').readlines()
print(f"第3行配置: {lines[2].strip()}")
※ 大文件慎用,可能导致内存溢出。
◉ with语句与资源管理
with open() 自动关闭文件,即使发生异常也能保证资源释放。结合逐行读取是标准实践:
try:
with open('data.csv', 'r', encoding='utf-8') as f:
for idx, line in enumerate(f, 1):
print(f"行{idx}: {line.strip()}")
except FileNotFoundError:
print("文件不存在")
〔 大文件逐行处理策略 〕
⚙️ 内存映射与分块
使用 mmap 模块或固定字节读取,但逐行读取仍是最稳妥方案。配合 enumerate 记录行号。
📊 进度显示
通过 os.path.getsize 获取总大小,结合已读字节估算进度,提升交互体验。
- ① 打开文件 → 使用 open(file, 'r', buffering=8192) 指定缓冲区。
- ② 迭代行 → for line in f 内部使用迭代器,惰性读取。
- ③ 即时处理 → 正则匹配或数据清洗后立即写入数据库/新文件。
- ④ 内存监控 → 使用 tracemalloc 跟踪内存变化,确保无泄漏。
〔 网友们还关心 〕
❓ 如何忽略空行?
if line.strip(): 判断非空,常用于配置文件解析。Python逐行读取文件时结合列表推导式可高效过滤。
❓ 编码错误处理
使用 errors='ignore' 或 'replace'。推荐先检测编码:chardet 库。
❓ 读取指定行范围
利用 itertools.islice 快速切片:islice(f, 10, 20) 读取第11~20行。
❓ 逐行读取CSV并解析
结合 csv.reader 逐行处理,避免加载整个表格。示例:csv.reader(f) 直接迭代。
〔 进阶技巧与周边 〕
🔹 反向读取最后N行
使用 deque 与 maxlen 参数保留尾部行,或借助 seek 从文件末尾向前读取块。
🔸 并发逐行处理
将文件按偏移分片,多线程/进程读取不同区块,注意行边界对齐。Python逐行读取文件与 concurrent.futures 结合。
※ 实战中常搭配 logging 记录处理进度,并使用 try-except 包裹逐行操作,防止单行异常中断整个流程。
〔 Python文件读取底层与性能 〕
Python的文件对象基于C标准库的 FILE 结构,逐行读取时内部使用缓冲区。默认缓冲区大小通常为8KB,可通过 buffering 参数调整。对于Python逐行读取文件操作,for循环 实际上调用了文件对象的 __next__ 方法,该方法内部调用 readline 直到遇到换行符。这意味着即使文件没有换行符,读取也是安全的。
在文本模式与二进制模式的选择上,逐行读取通常使用文本模式('r'),但处理图像或混合数据时,二进制模式('rb') 结合自定义分割符更合适。另外,io.open 与内置 open 在Python3中已统一,推荐始终使用内置函数。
〔 常见异常与解决方案 〕
UnicodeDecodeError 是读取非纯英文文件时的头号问题。通过指定 encoding='utf-8' 并设置 errors='replace' 可防止崩溃。此外,FileNotFoundError 需检查路径,使用 pathlib.Path 提升跨平台兼容性。
当文件被其他进程锁定时,可尝试 msvcrt (Windows) 或 fcntl (Linux) 进行文件锁定检查,或采用重试机制。对于Python逐行读取文件的进阶用户,建议封装一个健壮的读取器类。