Python读取所有文件:从入门到实战的完整指南

为什么需要读取所有文件?

在数据处理、日志分析、文档整理等场景中,我们经常需要对一个目录下的全部文件进行批量操作。例如:读取某文件夹下所有.txt日志文件进行文本分析;批量导入.json配置文件进行统一管理;扫描.csv数据文件进行统计汇总。这些任务的共性是——遍历目录结构并统一处理文件内容。

Python 提供了多种方式实现该目标,包括:os.listdir()、glob模块、pathlib.Path对象以及os.walk()递归遍历等。每种方式各有适用场景,需结合实际需求选择。

尤其在处理大型项目时,选择不当可能导致性能瓶颈或逻辑错误。例如:os.listdir()仅列出当前层级,不递归;而os.walk()虽支持递归,但需注意符号链接与权限问题。本指南将系统梳理各类方法,提供可直接复用的代码模板,并对比其适用边界与性能表现。

核心方法详解:四种主流路径对比

1. os.listdir():单层非递归遍历

适用于仅需读取当前目录下所有文件(不含子目录)的场景。

import os
path = "./data"
for item in os.listdir(path):
    full_path = os.path.join(path, item)
    if os.path.isfile(full_path):
        print(f"文件:{item}")

⚠️ 注意:仅列出直接子项;不自动过滤目录;需手动拼接完整路径;不支持通配符匹配。

2. glob模块:支持通配符的灵活匹配

当需要按文件扩展名、命名模式筛选时,glob是首选。例如匹配所有.log或data_*.csv。

import glob
# 匹配当前目录所有.txt文件
files = glob.glob("*.txt")
# 递归匹配所有子目录下的.json文件(Python 3.5+)
files_recursive = glob.glob("data*.json", recursive=True)

💡 优势:语法简洁;支持*、?、[abc]等通配符;recursive=True可启用递归。

3. pathlib.Path:现代面向对象API(推荐)

Python 3.4+ 引入的pathlib提供更直观、跨平台的路径操作方式。

from pathlib import Path
# 当前目录所有文件
files = [p for p in Path(".").iterdir() if p.is_file()]
# 递归获取所有.py文件
py_files = list(Path(".").rglob("*.py"))
# 分离扩展名与名称
for f in py_files:
    name = f.stem   # 如 "main"
    ext = f.suffix  # 如 ".py"

✨ 特性:链式调用;自动处理路径分隔符;支持rglob()递归匹配;可直接获取Path对象,便于后续操作。

4. os.walk():深度递归遍历目录树

当需要完整遍历目录树(含所有子目录)时,os.walk()是最可靠的方案。

import os
root_dir = "./logs"
for dirpath, dirnames, filenames in os.walk(root_dir):
    print(f"目录:{dirpath}")
    for fname in filenames:
        full_path = os.path.join(dirpath, fname)
        print(f"  └─ 文件:{fname} ({os.path.getsize(full_path)}字节)")

🔍 关键点:dirnames可修改以控制遍历方向;followlinks=False默认不跟随符号链接;支持过滤特定目录(如跳过.git)。

性能与安全性对比

方法 递归支持 通配符匹配 符号链接处理 适用场景
os.listdir() ❌ ❌ 自动跟随 单层目录快速枚举
glob ✅(需recursive) ✅ 默认跟随 按模式筛选文件
pathlib.Path ✅(rglob) ✅ 默认跟随 现代项目首选
os.walk() ✅ ❌ 需显式控制 深度目录树遍历

实战案例:从文本到Excel的批量处理

案例1:读取所有日志文件并提取错误信息

目标:扫描./logs/目录下所有.log文件,提取包含ERROR的行并保存为errors.txt。

from pathlib import Path
import re
log_dir = Path("logs")
error_lines = []
for log_file in log_dir.glob("*.log"):
    with open(log_file, "r", encoding="utf-8") as f:
        for line_num, line in enumerate(f, 1):
            if "ERROR" in line:
                error_lines.append(f"[{log_file.name}:{line_num}] {line.rstrip()}")
with open("errors.txt", "w", encoding="utf-8") as out:
    out.write("\n".join(error_lines))
print(f"提取完成:共{len(error_lines)}条错误记录")

💡 优化点:使用with确保文件句柄自动关闭;encoding="utf-8"避免中文乱码;line.rstrip()去除末尾换行。

案例2:批量合并JSON配置文件

场景:多个微服务的config_*.json文件需合并为统一配置中心。

import json
from pathlib import Path
config_dir = Path("configs")
merged = {}
for json_file in config_dir.glob("config_*.json"):
    with open(json_file, "r") as f:
        data = json.load(f)
        service_name = json_file.stem.replace("config_", "")
        merged[service_name] = data
with open("merged_config.json", "w") as out:
    json.dump(merged, out, indent=2, ensure_ascii=False)

⚠️ 注意:若JSON含中文,需设置ensure_ascii=False;indent=2提升可读性。

案例3:扫描并统计大文件列表

需求:生成./data/下所有文件的大小与修改时间报告。

import os
from datetime import datetime
from pathlib import Path
def format_size(size):
    for unit in ["B","KB","MB","GB"]:
        if size < 1024:
            return f"{size:.2f} {unit}"
        size /= 1024
    return f"{size:.2f} TB"
report = []
for root, dirs, files in os.walk("data"):
    for fname in files:
        fpath = os.path.join(root, fname)
        stat = os.stat(fpath)
        size = format_size(stat.st_size)
        mtime = datetime.fromtimestamp(stat.st_mtime).strftime("%Y-%m-%d %H:%M")
        rel_path = os.path.relpath(fpath)
        report.append(f"{rel_path:40} {size:8} {mtime}")
with open("file_report.txt", "w") as f:
    f.write("文件路径" + " " * 30 + "大小   修改时间\n")
    f.write("-" * 70 + "\n")
    f.write("\n".join(report))

📊 输出示例:data/report_2025.csv 2.35 MB 2025-04-05 14:22

案例4:处理中文路径与编码问题

常见痛点:Windows系统中含中文路径或gbk编码文件读取失败。

import sys
from pathlib import Path
# 检测系统默认编码(Windows常用gbk)
if sys.platform == "win32":
    encoding = "gbk"
else:
    encoding = "utf-8"
# 示例:读取含中文路径的文件
file_path = Path("数据/报告.txt")
try:
    with open(file_path, "r", encoding=encoding, errors="ignore") as f:
        content = f.read()
        print(f"成功读取{len(content)}字符")
except FileNotFoundError:
    print("路径不存在,请检查大小写与中文拼写")

🔧 技巧:errors="ignore"跳过非法字符;sys.platform动态适配系统编码。

常见问题解答(FAQ)

Q1:为什么用os.listdir()读取不到子目录中的文件?

os.listdir()仅列出指定目录的直接子项,不递归。如需遍历全部层级,请改用os.walk()或Path.rglob()。例如:

# 错误:只获取当前层
files = os.listdir("data")  # 不包含 data/sub/xxx.txt
# 正确:递归遍历
for root, dirs, files in os.walk("data"):
    # files此时包含所有层级的文件名
Q2:如何排除隐藏文件(如.DS_Store)?

在遍历中过滤以.开头的文件:

from pathlib import Path
files = [p for p in Path(".").iterdir()
         if p.is_file() and not p.name.startswith(".")]

或使用正则匹配:re.match(r'^[^\.]', p.name)

Q3:大目录遍历时内存溢出怎么办?

避免一次性加载所有文件路径!改用生成器迭代:

def yield_files(path):
    for item in os.listdir(path):
        full = os.path.join(path, item)
        if os.path.isfile(full):
            yield full  # 按需生成,不占内存
for fpath in yield_files("huge_dir"):
    process(fpath)  # 边遍历边处理

内存占用降低90%以上,尤其适用于TB级数据目录。

Q4:符号链接(symlink)导致死循环?

os.walk()默认followlinks=False,但若手动遍历时需注意:

from pathlib import Path
for p in Path(".").rglob("*"):
    if p.is_symlink():
        print(f"跳过符号链接:{p}")
        continue
    # 处理真实文件

建议:在循环中加入seen = set()记录已访问inode,防止循环引用。

Q5:如何同时获取文件名与扩展名?

推荐使用pathlib的属性:

from pathlib import Path
f = Path("report_2025.pdf")
print(f.name)    # report_2025.pdf
print(f.stem)    # report_2025
print(f.suffix)  # .pdf
print(f.suffixes) # ['.pdf']

注意:os.path.splitext()仅支持单扩展名,.suffixes可处理.tar.gz等多扩展名。

网友还关心

  • 如何用Python读取所有Excel文件并合并为一个工作簿?
  • 遍历目录时如何过滤特定后缀(如排除.tmp文件)?
  • 如何安全删除空目录(仅当无子文件时)?
  • Python读取文件时遇到PermissionError如何处理?
  • Windows系统中路径长度超限(>260字符)的解决方案?

高效技巧与最佳实践

技巧1:使用pathlib统一路径操作

避免混合使用os.path与字符串拼接,统一用Path对象更安全:

# 不推荐
full = "data" + "/" + fname
# 推荐
full = Path("data") / fname

自动处理不同系统的路径分隔符(Windows用\,Linux用/)。

技巧2:并行处理加速批量操作

对CPU/IO密集型任务,结合multiprocessing加速:

from multiprocessing import Pool
from pathlib import Path
def process_file(fpath):
    with open(fpath) as f:
        return len(f.readlines())
files = list(Path("logs").glob("*.log"))
with Pool(4) as pool:
    counts = pool.map(process_file, files)
print(f"总行数:{sum(counts)}")

⚠️ 注意:文件IO受限任务,线程池ThreadPoolExecutor可能更优。

技巧3:进度条实时反馈

使用tqdm库(需安装)提升交互体验:

from tqdm import tqdm
from pathlib import Path
files = list(Path("data").glob("*.csv"))
for fpath in tqdm(files, desc="处理中"):
    process(fpath)

输出:处理中:100%|████████| 150/150 [00:23<00:00, 6.52it/s]

技巧4:错误处理与日志记录

遍历中加入异常捕获,避免单文件失败导致整体中断:

for fpath in Path("data").glob("*.json"):
    try:
        with open(fpath) as f:
            data = json.load(f)
    except (json.JSONDecodeError, UnicodeDecodeError) as e:
        print(f"跳过损坏文件:{fpath} - {e}")
        continue

生产环境建议用logging模块记录错误详情。

时间轴:Python文件遍历能力演进

2000 · Python 1.5

引入os.listdir(),基础单层遍历支持

2004 · Python 2.3

glob模块标准化,支持通配符匹配

2008 · Python 2.5

pathlib原型path.py第三方库出现

2014 · Python 3.4

核心突破:官方pathlib模块加入标准库

2017 · Python 3.6

os.walk()支持dir_fd参数,增强安全性

2021 · Python 3.10

优化Path.rglob()性能,递归速度提升30%

附录:文件遍历速查表

按需求选择方法

需求 推荐方案 关键代码
仅当前目录所有文件 pathlib.Path.iterdir() [p for p in Path(".").iterdir() if p.is_file()]
按扩展名筛选(如.log) glob.glob("*.log") glob.glob("logs/*.log")
递归所有子目录 pathlib.Path.rglob() list(Path(".").rglob("*"))
需要目录结构信息 os.walk() for d, dirs, files in os.walk("."): ...
处理含中文路径 encoding="utf-8" + errors="ignore" open(path, "r", encoding="utf-8", errors="ignore")