〈Python逐行读取文件〉完全指南

掌握 readline、for循环遍历 与 内存优化,轻松应对日志分析、数据处理等场景。

〔 核心方法详解 〕

★ for line in file · 最Pythonic的方式

直接使用 for line in file 迭代文件对象,Python解释器自动缓冲读取,内存占用极低。每一行包含换行符,常搭配 line.strip() 使用。例如处理CSV数据时:

with open('data.txt', 'r', encoding='utf-8') as f:
    for line in f:
        clean = line.strip()
        if clean:
            print(f"→ {clean}")

⚡ 网友实测:处理2.3GB日志文件仅占用约40MB内存,速度达每秒120万行。

◈ readline() 逐行控制

readline() 每次读取一行,返回字符串(包含换行符),适合需要条件中断的场景。比如读取到特定标记停止:

with open('search.log', 'r') as f:
    while True:
        line = f.readline()
        if not line:
            break
        if 'ERROR' in line:
            print(f"⚠️ 发现错误:{line.strip()}")

〈注意〉 需手动判断空字符串终止循环,避免无限读取。

◆ readlines() 列表化读取

readlines() 一次性将文件所有行读入列表,小文件适用(<50MB)。可快速索引第N行:

lines = open('config.ini').readlines()
print(f"第3行配置: {lines[2].strip()}")

※ 大文件慎用,可能导致内存溢出。

◉ with语句与资源管理

with open() 自动关闭文件,即使发生异常也能保证资源释放。结合逐行读取是标准实践:

try:
    with open('data.csv', 'r', encoding='utf-8') as f:
        for idx, line in enumerate(f, 1):
            print(f"行{idx}: {line.strip()}")
except FileNotFoundError:
    print("文件不存在")

〔 大文件逐行处理策略 〕

⚙️ 内存映射与分块

使用 mmap 模块或固定字节读取,但逐行读取仍是最稳妥方案。配合 enumerate 记录行号。

📊 进度显示

通过 os.path.getsize 获取总大小,结合已读字节估算进度,提升交互体验。

〔 网友们还关心 〕

❓ 如何忽略空行?

if line.strip(): 判断非空,常用于配置文件解析。Python逐行读取文件时结合列表推导式可高效过滤。

❓ 编码错误处理

使用 errors='ignore' 或 'replace'。推荐先检测编码:chardet 库。

❓ 读取指定行范围

利用 itertools.islice 快速切片:islice(f, 10, 20) 读取第11~20行。

❓ 逐行读取CSV并解析

结合 csv.reader 逐行处理,避免加载整个表格。示例:csv.reader(f) 直接迭代。

〔 进阶技巧与周边 〕

🔹 反向读取最后N行

使用 deque 与 maxlen 参数保留尾部行,或借助 seek 从文件末尾向前读取块。

🔸 并发逐行处理

将文件按偏移分片,多线程/进程读取不同区块,注意行边界对齐。Python逐行读取文件与 concurrent.futures 结合。

※ 实战中常搭配 logging 记录处理进度,并使用 try-except 包裹逐行操作,防止单行异常中断整个流程。

〔 Python文件读取底层与性能 〕

Python的文件对象基于C标准库的 FILE 结构,逐行读取时内部使用缓冲区。默认缓冲区大小通常为8KB,可通过 buffering 参数调整。对于Python逐行读取文件操作,for循环 实际上调用了文件对象的 __next__ 方法,该方法内部调用 readline 直到遇到换行符。这意味着即使文件没有换行符,读取也是安全的。

在文本模式与二进制模式的选择上,逐行读取通常使用文本模式('r'),但处理图像或混合数据时,二进制模式('rb') 结合自定义分割符更合适。另外,io.open 与内置 open 在Python3中已统一,推荐始终使用内置函数。

■ 内存视角:迭代器不会将整个文件加载到内存,而是维持一个读取指针。即使在处理数百万行数据时,内存曲线保持平稳。
■ 速度优化:避免在循环内频繁调用 print 或进行复杂正则,可先收集再批量输出。

〔 常见异常与解决方案 〕

UnicodeDecodeError 是读取非纯英文文件时的头号问题。通过指定 encoding='utf-8' 并设置 errors='replace' 可防止崩溃。此外,FileNotFoundError 需检查路径,使用 pathlib.Path 提升跨平台兼容性。

当文件被其他进程锁定时,可尝试 msvcrt (Windows) 或 fcntl (Linux) 进行文件锁定检查,或采用重试机制。对于Python逐行读取文件的进阶用户,建议封装一个健壮的读取器类。