在数据处理、日志分析、文档整理等场景中,我们经常需要对一个目录下的全部文件进行批量操作。例如:读取某文件夹下所有.txt日志文件进行文本分析;批量导入.json配置文件进行统一管理;扫描.csv数据文件进行统计汇总。这些任务的共性是——遍历目录结构并统一处理文件内容。
Python 提供了多种方式实现该目标,包括:os.listdir()、glob模块、pathlib.Path对象以及os.walk()递归遍历等。每种方式各有适用场景,需结合实际需求选择。
尤其在处理大型项目时,选择不当可能导致性能瓶颈或逻辑错误。例如:os.listdir()仅列出当前层级,不递归;而os.walk()虽支持递归,但需注意符号链接与权限问题。本指南将系统梳理各类方法,提供可直接复用的代码模板,并对比其适用边界与性能表现。
os.listdir():单层非递归遍历适用于仅需读取当前目录下所有文件(不含子目录)的场景。
import os
path = "./data"
for item in os.listdir(path):
full_path = os.path.join(path, item)
if os.path.isfile(full_path):
print(f"文件:{item}")
⚠️ 注意:仅列出直接子项;不自动过滤目录;需手动拼接完整路径;不支持通配符匹配。
glob模块:支持通配符的灵活匹配当需要按文件扩展名、命名模式筛选时,glob是首选。例如匹配所有.log或data_*.csv。
import glob
# 匹配当前目录所有.txt文件
files = glob.glob("*.txt")
# 递归匹配所有子目录下的.json文件(Python 3.5+)
files_recursive = glob.glob("data*.json", recursive=True)
💡 优势:语法简洁;支持*、?、[abc]等通配符;recursive=True可启用递归。
pathlib.Path:现代面向对象API(推荐)Python 3.4+ 引入的pathlib提供更直观、跨平台的路径操作方式。
from pathlib import Path
# 当前目录所有文件
files = [p for p in Path(".").iterdir() if p.is_file()]
# 递归获取所有.py文件
py_files = list(Path(".").rglob("*.py"))
# 分离扩展名与名称
for f in py_files:
name = f.stem # 如 "main"
ext = f.suffix # 如 ".py"
✨ 特性:链式调用;自动处理路径分隔符;支持rglob()递归匹配;可直接获取Path对象,便于后续操作。
os.walk():深度递归遍历目录树当需要完整遍历目录树(含所有子目录)时,os.walk()是最可靠的方案。
import os
root_dir = "./logs"
for dirpath, dirnames, filenames in os.walk(root_dir):
print(f"目录:{dirpath}")
for fname in filenames:
full_path = os.path.join(dirpath, fname)
print(f" └─ 文件:{fname} ({os.path.getsize(full_path)}字节)")
🔍 关键点:dirnames可修改以控制遍历方向;followlinks=False默认不跟随符号链接;支持过滤特定目录(如跳过.git)。
| 方法 | 递归支持 | 通配符匹配 | 符号链接处理 | 适用场景 |
|---|---|---|---|---|
os.listdir() |
❌ | ❌ | 自动跟随 | 单层目录快速枚举 |
glob |
✅(需recursive) |
✅ | 默认跟随 | 按模式筛选文件 |
pathlib.Path |
✅(rglob) |
✅ | 默认跟随 | 现代项目首选 |
os.walk() |
✅ | ❌ | 需显式控制 | 深度目录树遍历 |
目标:扫描./logs/目录下所有.log文件,提取包含ERROR的行并保存为errors.txt。
from pathlib import Path
import re
log_dir = Path("logs")
error_lines = []
for log_file in log_dir.glob("*.log"):
with open(log_file, "r", encoding="utf-8") as f:
for line_num, line in enumerate(f, 1):
if "ERROR" in line:
error_lines.append(f"[{log_file.name}:{line_num}] {line.rstrip()}")
with open("errors.txt", "w", encoding="utf-8") as out:
out.write("\n".join(error_lines))
print(f"提取完成:共{len(error_lines)}条错误记录")
💡 优化点:使用with确保文件句柄自动关闭;encoding="utf-8"避免中文乱码;line.rstrip()去除末尾换行。
场景:多个微服务的config_*.json文件需合并为统一配置中心。
import json
from pathlib import Path
config_dir = Path("configs")
merged = {}
for json_file in config_dir.glob("config_*.json"):
with open(json_file, "r") as f:
data = json.load(f)
service_name = json_file.stem.replace("config_", "")
merged[service_name] = data
with open("merged_config.json", "w") as out:
json.dump(merged, out, indent=2, ensure_ascii=False)
⚠️ 注意:若JSON含中文,需设置ensure_ascii=False;indent=2提升可读性。
需求:生成./data/下所有文件的大小与修改时间报告。
import os
from datetime import datetime
from pathlib import Path
def format_size(size):
for unit in ["B","KB","MB","GB"]:
if size < 1024:
return f"{size:.2f} {unit}"
size /= 1024
return f"{size:.2f} TB"
report = []
for root, dirs, files in os.walk("data"):
for fname in files:
fpath = os.path.join(root, fname)
stat = os.stat(fpath)
size = format_size(stat.st_size)
mtime = datetime.fromtimestamp(stat.st_mtime).strftime("%Y-%m-%d %H:%M")
rel_path = os.path.relpath(fpath)
report.append(f"{rel_path:40} {size:8} {mtime}")
with open("file_report.txt", "w") as f:
f.write("文件路径" + " " * 30 + "大小 修改时间\n")
f.write("-" * 70 + "\n")
f.write("\n".join(report))
📊 输出示例:data/report_2025.csv 2.35 MB 2025-04-05 14:22
常见痛点:Windows系统中含中文路径或gbk编码文件读取失败。
import sys
from pathlib import Path
# 检测系统默认编码(Windows常用gbk)
if sys.platform == "win32":
encoding = "gbk"
else:
encoding = "utf-8"
# 示例:读取含中文路径的文件
file_path = Path("数据/报告.txt")
try:
with open(file_path, "r", encoding=encoding, errors="ignore") as f:
content = f.read()
print(f"成功读取{len(content)}字符")
except FileNotFoundError:
print("路径不存在,请检查大小写与中文拼写")
🔧 技巧:errors="ignore"跳过非法字符;sys.platform动态适配系统编码。
os.listdir()读取不到子目录中的文件?os.listdir()仅列出指定目录的直接子项,不递归。如需遍历全部层级,请改用os.walk()或Path.rglob()。例如:
# 错误:只获取当前层
files = os.listdir("data") # 不包含 data/sub/xxx.txt
# 正确:递归遍历
for root, dirs, files in os.walk("data"):
# files此时包含所有层级的文件名
.DS_Store)?在遍历中过滤以.开头的文件:
from pathlib import Path
files = [p for p in Path(".").iterdir()
if p.is_file() and not p.name.startswith(".")]
或使用正则匹配:re.match(r'^[^\.]', p.name)
避免一次性加载所有文件路径!改用生成器迭代:
def yield_files(path):
for item in os.listdir(path):
full = os.path.join(path, item)
if os.path.isfile(full):
yield full # 按需生成,不占内存
for fpath in yield_files("huge_dir"):
process(fpath) # 边遍历边处理
内存占用降低90%以上,尤其适用于TB级数据目录。
os.walk()默认followlinks=False,但若手动遍历时需注意:
from pathlib import Path
for p in Path(".").rglob("*"):
if p.is_symlink():
print(f"跳过符号链接:{p}")
continue
# 处理真实文件
建议:在循环中加入seen = set()记录已访问inode,防止循环引用。
推荐使用pathlib的属性:
from pathlib import Path
f = Path("report_2025.pdf")
print(f.name) # report_2025.pdf
print(f.stem) # report_2025
print(f.suffix) # .pdf
print(f.suffixes) # ['.pdf']
注意:os.path.splitext()仅支持单扩展名,.suffixes可处理.tar.gz等多扩展名。
.tmp文件)?PermissionError如何处理?pathlib统一路径操作避免混合使用os.path与字符串拼接,统一用Path对象更安全:
# 不推荐
full = "data" + "/" + fname
# 推荐
full = Path("data") / fname
自动处理不同系统的路径分隔符(Windows用\,Linux用/)。
对CPU/IO密集型任务,结合multiprocessing加速:
from multiprocessing import Pool
from pathlib import Path
def process_file(fpath):
with open(fpath) as f:
return len(f.readlines())
files = list(Path("logs").glob("*.log"))
with Pool(4) as pool:
counts = pool.map(process_file, files)
print(f"总行数:{sum(counts)}")
⚠️ 注意:文件IO受限任务,线程池ThreadPoolExecutor可能更优。
使用tqdm库(需安装)提升交互体验:
from tqdm import tqdm
from pathlib import Path
files = list(Path("data").glob("*.csv"))
for fpath in tqdm(files, desc="处理中"):
process(fpath)
输出:处理中:100%|████████| 150/150 [00:23<00:00, 6.52it/s]
遍历中加入异常捕获,避免单文件失败导致整体中断:
for fpath in Path("data").glob("*.json"):
try:
with open(fpath) as f:
data = json.load(f)
except (json.JSONDecodeError, UnicodeDecodeError) as e:
print(f"跳过损坏文件:{fpath} - {e}")
continue
生产环境建议用logging模块记录错误详情。
引入os.listdir(),基础单层遍历支持
glob模块标准化,支持通配符匹配
pathlib原型path.py第三方库出现
核心突破:官方pathlib模块加入标准库
os.walk()支持dir_fd参数,增强安全性
优化Path.rglob()性能,递归速度提升30%
| 需求 | 推荐方案 | 关键代码 |
|---|---|---|
| 仅当前目录所有文件 | pathlib.Path.iterdir() |
[p for p in Path(".").iterdir() if p.is_file()] |
按扩展名筛选(如.log) |
glob.glob("*.log") |
glob.glob("logs/*.log") |
| 递归所有子目录 | pathlib.Path.rglob() |
list(Path(".").rglob("*")) |
| 需要目录结构信息 | os.walk() |
for d, dirs, files in os.walk("."): ... |
| 处理含中文路径 | encoding="utf-8" + errors="ignore" |
open(path, "r", encoding="utf-8", errors="ignore") |