Python zipfile教程

一、zipfile模块核心概念解析

zipfile是Python标准库中用于处理ZIP压缩文件的模块,它提供了一套完整的API,支持创建、读取、解压、追加、加密等操作。ZIP格式采用Deflate压缩算法,具有跨平台、兼容性强、压缩率适中的特点,被广泛用于文件打包、传输、备份等场景。

与其他压缩库(如gzip、bz2)不同,zipfile支持在单个压缩包中存放多个文件和目录结构,且支持无损压缩与AES加密(需第三方库支持),是Python中处理ZIP文件的首选方案。

模块路径:from zipfile import ZipFile, ZIP_DEFLATED, ZIP_STORED

核心类:ZipFile 是核心操作类,提供文件级操作接口;支持上下文管理器语法,确保资源自动释放。

常见压缩模式:

  • ZIP_STORED:不压缩,仅打包(速度快,体积大)
  • ZIP_DEFLATED:标准Deflate压缩(默认,平衡性好)
  • ZIP_BZIP2:Bzip2压缩(压缩率高,速度慢)
  • ZIP_LZMA:LZMA压缩(压缩率最高,速度最慢)

自Python 3.7起,ZipFile支持通过compresslevel参数控制压缩级别(0~9),数字越大压缩越深,但耗时增加。

注意:ZIP格式本身不支持流式压缩,需先将数据缓存到内存或临时文件中再写入压缩包。

二、创建ZIP压缩包的6种典型场景

以下示例均基于with ZipFile('file.zip', 'w') as zf:上下文结构,确保文件正确关闭。

① 基础文件打包

将多个独立文件打包为ZIP:

from zipfile import ZipFile
with ZipFile('archive.zip', 'w') as zf:
    zf.write('report.pdf')
    zf.write('data.csv')
    zf.write('notes.txt')

默认保留原始文件名,路径信息丢失。如需保留目录结构,使用arcname参数:

with ZipFile('backup.zip', 'w') as zf:
    zf.write('/home/user/docs/report.pdf', arcname='docs/report.pdf')

② 递归目录打包

使用os.walk遍历目录并添加所有文件:

import os
from zipfile import ZipFile
def zipdir(zip_name, dir_path, compress=True):
    compress_type = ZIP_DEFLATED if compress else ZIP_STORED
    with ZipFile(zip_name, 'w', compression=compress_type) as zf:
        for root, dirs, files in os.walk(dir_path):
            for file in files:
                file_path = os.path.join(root, file)
                arcname = os.path.relpath(file_path, start=dir_path)
                zf.write(file_path, arcname=arcname)
zipdir('project_backup.zip', './project')

③ 动态内容写入(无源文件)

通过writestr()直接写入内存数据:

from zipfile import ZipFile
with ZipFile('dynamic.zip', 'w') as zf:
    zf.writestr('config.json', '{"debug": true, "port": 8080}')
    zf.writestr('log.txt', '[INFO] Server started\n' * 100)

支持二进制数据(如图片、PDF):

with open('logo.png', 'rb') as f:
    zf.writestr('assets/logo.png', f.read())

④ 设置压缩级别

控制Deflate压缩强度(3为常用折中值,9为极致压缩):

with ZipFile('compressed.zip', 'w', compression=ZIP_DEFLATED, compresslevel=5) as zf:
    zf.write('large_file.dat')

⑤ 多线程加速(实验性)

Python原生zipfile不支持多线程压缩,但可通过multiprocessing分块处理后合并(需自定义协议):

# 实际应用中建议使用pyzipper等第三方库实现AES并行加密
import multiprocessing as mp
def compress_chunk(chunk_files):
    return [f'{f}.zipped' for f in chunk_files]  # 模拟

注意:ZIP格式本身不支持并行压缩,需拆分文件+后处理合并,操作复杂,一般场景不推荐。

⑥ 分卷ZIP(需第三方库)

标准zipfile不支持分卷压缩,可使用pyzipper或手动分割文件:

# 手动分卷:先生成大ZIP,再用split命令分割
import subprocess
subprocess.run(['split', '-b', '100M', 'archive.zip', 'archive.zip.'])

三、读取ZIP内容的5种进阶方式

读取前需以'r'模式打开ZipFile对象:

with ZipFile('archive.zip', 'r') as zf:
    pass  # 读取操作

① 列出所有文件信息

namelist()返回文件路径列表;infolist()返回ZipInfo对象(含时间、大小、CRC等):

for info in zf.infolist():
    print(f"{info.filename}: {info.file_size} bytes")
    print(f"  Modified: {info.date_time}")
    print(f"  Compressed: {info.compress_size} bytes")

② 检查文件是否存在

使用getinfo()或namelist()检查:

try:
    zf.getinfo('config.json')
    print("Found")
except KeyError:
    print("Not found")

注意:getinfo()对大小写敏感,zipfile严格区分大小写(Windows系统ZIP常忽略,但跨平台时需谨慎)。

③ 提取单个文件内容(内存读取)

通过read()直接读取为字节:

content = zf.read('data.csv')  # bytes
print(content.decode('utf-8'))

支持文本解码(需指定编码):

import io
text = io.TextIOWrapper(zf.open('notes.txt'), encoding='utf-8')
for line in text:
    print(line.strip())

④ 遍历目录结构

通过infolist()解析目录层级:

dirs = set()
for info in zf.infolist():
    path = info.filename
    if path.endswith('/'):  # 显式目录项
        dirs.add(path)
    else:  # 文件项
        parent = os.path.dirname(path)
        if parent:
            dirs.add(parent + '/')
for d in sorted(dirs):
    print(d)

⑤ 增量读取大文件

避免一次性加载大文件到内存:

with zf.open('bigfile.log') as f:
    for line in f:
        process(line)  # 流式处理

注意:流式解压可能因ZIP头部校验失败中断,建议先验证文件完整性。

四、安全解压的3大核心问题

直接使用extractall()存在严重安全风险:恶意ZIP可包含../../../etc/passwd路径的压缩文件,导致文件覆盖攻击(Zip Slip漏洞)。

① 路径安全校验

解压前验证目标路径是否在允许范围内:

import os
def safe_extract(zip_path, extract_dir):
    extract_dir = os.path.abspath(extract_dir)
    with ZipFile(zip_path, 'r') as zf:
        for info in zf.infolist():
            extracted_path = os.path.abspath(os.path.join(extract_dir, info.filename))
            if not extracted_path.startswith(extract_dir + os.sep):
                raise ValueError(f"Invalid path: {info.filename}")
            zf.extract(info, extract_dir)

② 文件类型白名单

仅允许特定扩展名解压:

allowed_ext = {'.txt', '.json', '.csv'}
for info in zf.infolist():
    ext = os.path.splitext(info.filename)[1].lower()
    if ext not in allowed_ext:
        print(f"Skipped: {info.filename}")
        continue
    zf.extract(info, extract_dir)

③ 解压进度监控

自定义进度回调(需手动计算总大小):

def extract_with_progress(zf, extract_dir):
    total_size = sum(info.file_size for info in zf.infolist())
    extracted = 0
    for info in zf.infolist():
        zf.extract(info, extract_dir)
        extracted += info.file_size
        progress = extracted / total_size * 100
        print(f"\rProgress: {progress:.1f}%", end='')

五、加密ZIP的3种实现方案

标准zipfile仅支持传统ZIP2.0加密(弱加密,易破解),推荐使用AES加密需第三方库。

① 传统加密(不推荐)

with ZipFile('encrypted.zip', 'w') as zf:
    zf.write('secret.txt', pwd=b'mypassword')

缺陷:密码存储在压缩包头部,可被工具暴力破解;仅支持128位密钥。

② AES-256加密(推荐)

使用pyzipper库(兼容标准ZIP格式):

import pyzipper
with pyzipper.AESZipFile('aes.zip', 'w', compression=pyzipper.ZIP_LZMA) as zf:
    zf.setpassword(b'mypassword')
    zf.write('confidential.pdf')

③ 动态密码生成

结合用户特征生成临时密码:

import hashlib
def generate_password(user_id, timestamp):
    seed = f'{user_id}-{timestamp}'
    return hashlib.sha256(seed.encode()).digest()[:16]

注意:密码需通过安全通道传输,避免明文存储。

六、向ZIP追加文件的4个陷阱

zipfile不支持直接追加(需重写整个压缩包),但可通过以下方式优化:

① 打开为'a'模式(重写)

with ZipFile('archive.zip', 'a') as zf:
    zf.write('new_file.txt')

本质:解压→追加→重新压缩,效率低但简单。

② 写入临时文件(高效)

import tempfile
import os
def append_to_zip(zip_path, new_files):
    with tempfile.NamedTemporaryFile(suffix='.zip', delete=False) as tmp:
        tmp_path = tmp.name
        with ZipFile(tmp_path, 'w', compression=ZIP_DEFLATED) as zf_new:
            with ZipFile(zip_path, 'r') as zf_old:
                for info in zf_old.infolist():
                    zf_new.writestr(info, zf_old.read(info))
            for f in new_files:
                zf_new.write(f)
        os.replace(tmp_path, zip_path)

③ 增量归档策略

设计时避免频繁追加,改用时间戳命名独立ZIP:

from datetime import datetime
archive_name = f'backup_{datetime.now().strftime('%Y%m%d')}.zip'

④ 合并ZIP(高级技巧)

通过ZIP64格式拼接文件头(需底层操作,仅限专家):

# 实际应用中强烈不推荐,易导致结构损坏
with open('archive.zip', 'ab') as f:
    f.write(b'PK\x05\x06...')  # 空目录记录

七、常见异常与调试技巧

① BadZipFile:文件损坏

try:
    zf = ZipFile('corrupt.zip')
except zipfile.BadZipFile as e:
    print(f"Invalid ZIP: {e}")

② CRC校验失败

解压时文件内容与CRC不匹配(传输损坏):

try:
    zf.extract('data.csv')
except RuntimeError as e:
    if 'CRC' in str(e):
        print("File corrupted during transfer")

③ 文件名编码问题

Windows创建的ZIP常含GBK编码文件名:

try:
    zf = ZipFile('archive.zip')
    zf.namelist()  # 可能报UnicodeDecodeError
except UnicodeDecodeError:
    # 使用cp437解码(ZIP原始编码)
    names = [n.encode('cp437').decode('utf-8', 'replace') for n in zf.namelist()]

④ 内存溢出

解压超大ZIP时内存不足:

import resource
resource.setrlimit(resource.RLIMIT_AS, (1024**3, 1024**3))  # 限制1GB内存

八、性能优化实战指南

① 压缩级别调优

compresslevel压缩时间压缩率适用场景
0极快0%临时缓存
3快中通用场景
9慢高归档存储

② 批量写入优化

避免多次打开文件:

with ZipFile('batch.zip', 'w') as zf:
    for file in files:
        zf.write(file, compress_type=ZIP_BZIP2)  # 统一压缩类型

③ I/O优化

使用io.BytesIO缓冲:

import io
buffer = io.BytesIO()
with ZipFile(buffer, 'w') as zf:
    zf.writestr('data.txt', 'content')
with open('output.zip', 'wb') as f:
    f.write(buffer.getvalue())

④ 磁盘I/O监控

监控压缩过程中的I/O等待:

import psutil
def monitor_io():
    while compressing:
        io = psutil.disk_io_counters()
        print(f"Read: {io.read_bytes}, Write: {io.write_bytes}")
        time.sleep(1)