🔒 安全警告:
• 避免处理用户输入的正则表达式(如re.compile(user_input)),防止ReDoS(正则表达式拒绝服务)攻击
• 复杂正则建议拆分为多个简单模式,或使用re.VERBOSE模式添加注释
• 跨平台换行符处理:Windows为\r\n,Unix为\n,建议用re.MULTILINE | re.DOTALL
| 场景 | 正则表达式 | 说明 |
|---|---|---|
| 邮箱地址 | ^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$ | RFC 5322简化版 |
| 手机号(中国) | ^1[3-9]\d{9}$ | 11位数字,1开头 |
| IPv4地址 | \b(?:\d{1,3}\.){3}\d{1,3}\b | 未校验数值范围 |
| HTML标签内容 | <(\w+)[^>]*>.*?</\1> | 简单标签匹配 |
collections:高性能容器扩展collections模块提供超越内置容器的专用数据结构,优化特定场景下的性能与内存占用。
from collections import Counter, defaultdict, deque
# 计数器(统计词频)
words = ["apple", "banana", "apple", "cherry", "banana", "apple"]
counter = Counter(words)
print(counter.most_common(2)) # [('apple', 3), ('banana', 2)]
# 默认字典(避免KeyError)
dd = defaultdict(int)
dd["count"] += 1 # 无需初始化
# 双端队列(高效头尾操作)
dq = deque([1, 2, 3])
dq.appendleft(0) # O(1)复杂度
dq.append(4)
print(dq.popleft()) # 返回0
# 有序字典(保留插入顺序)
from collections import OrderedDict
od = OrderedDict()
od["z"] = 1; od["a"] = 2
print(list(od.keys())) # ['z', 'a']
💡 性能对比:
• list.pop(0)为O(n)复杂度,deque.popleft()为O(1)
• Counter比手动字典计数快30%以上(C语言优化)
• defaultdict避免if key not in dict检查,提升代码简洁性
heapq:堆队列算法堆(heap)是实现优先队列的经典数据结构,heapq模块提供最小堆操作,支持O(log n)插入与删除。
import heapq # 构建堆(原地操作) data = [5, 1, 9, 3, 7] heapq.heapify(data) # 变为最小堆 # 添加元素(自动维护堆性质) heapq.heappush(data, 2) # 弹出最小值 smallest = heapq.heappop(data) # 返回1 # 合并多个有序序列(生成器) import itertools merged = heapq.merge([1,4,7], [2,5,8], [3,6,9]) print(list(merged)) # [1,2,3,4,5,6,7,8,9]
💡 典型应用场景:
• 任务调度系统(按优先级处理)
• 流式数据中取Top-K元素(如日志中最频繁IP)
• Dijkstra最短路径算法实现
pathlib:面向对象路径处理Python 3.4+引入的pathlib模块采用面向对象设计,彻底革新路径处理方式,替代传统os.path函数式调用。
from pathlib import Path
# 创建路径对象(支持/运算符拼接)
base = Path("/var/www")
config = base / "config" / "settings.json"
# 检查路径类型
print(config.exists()) # True/False
print(config.is_file()) # 是否为文件
print(base.is_dir()) # 是否为目录
# 读写文件(一行代码)
config.write_text('{"debug": true}')
content = config.read_text()
# 遍历目录(递归/通配符)
for py_file in Path(".").glob("**/*.py"):
print(py_file.resolve())
🔥 优势总结:
• 代码可读性高(Path("a") / "b"比os.path.join("a","b")直观)
• 自动处理路径分隔符差异
• 支持链式调用(如Path("a").joinpath("b").resolve())
• 与open()无缝集成
tempfile:安全临时文件处理临时文件操作需谨慎处理安全性与跨平台兼容性。tempfile模块提供标准化解决方案。
import tempfile
# 创建临时文件(自动删除)
with tempfile.NamedTemporaryFile(mode="w", delete=False) as f:
f.write("data")
temp_path = f.name
# 创建临时目录
with tempfile.TemporaryDirectory() as tmpdir:
tmpfile = Path(tmpdir) / "temp.txt"
tmpfile.write_text("isolated data")
# 安全文件名生成
safe_name = tempfile.mkstemp(suffix=".log")[1] # 返回(文件描述符,路径)
🔒 安全要点:
• 禁止使用os.urandom()生成文件名(易碰撞)
• 临时文件需显式设置权限(如0o600仅当前用户可读写)
• 跨平台临时目录:Windows为%TEMP%,Linux为/tmp
socket:底层网络接口socket模块提供BSD Socket API的Python封装,是网络编程的基础模块。
import socket
# 创建TCP服务器
server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.bind(("0.0.0.0", 8080))
server.listen(5)
client, addr = server.accept()
data = client.recv(4096)
client.sendall(b"HTTP/1.1 200 OK\r\n\r\nHello")
# 创建UDP客户端
client = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
client.sendto(b"PING", ("127.0.0.1", 9000))
💡 实用技巧:
• 使用socket.setdefaulttimeout()设置全局超时,避免程序卡死
• 高并发场景结合select或asyncio实现非阻塞I/O
• IPv6支持:将AF_INET替换为AF_INET6
urllib:URL处理工具集urllib模块提供URL解析、打开与编码功能,无需额外安装即可进行HTTP请求。
from urllib.parse import urlencode, urlparse
from urllib.request import urlopen, Request
# 构建带参数的URL
params = {"q": "python", "page": 1}
url = f"https://search.example.com?{urlencode(params)}"
# 发送自定义请求头
req = Request("https://api.example.com/data",
headers={"User-Agent": "MyBot/1.0"})
with urlopen(req) as response:
data = response.read().decode("utf-8")
# 解析URL组件
parsed = urlparse("https://example.com/path?query=value")
print(parsed.path, parsed.query) # "/path", "query=value"
⚠️ 注意事项:
• urllib不自动处理重定向(需手动设置RedirectHandler)
• HTTPS请求需系统安装CA证书,否则可能失败
• 生产环境建议使用requests库(功能更全),但urllib适合无第三方依赖场景
subprocess:安全子进程管理替代过时的os.system(),subprocess提供健壮的进程控制能力。
import subprocess
# 运行命令并捕获输出(推荐方式)
result = subprocess.run(["ls", "-l"], capture_output=True, text=True)
print(result.stdout) # 列表形式输出
# 设置超时与错误处理
try:
subprocess.run(["sleep", "5"], timeout=2)
except subprocess.TimeoutExpired:
print("Command timed out!")
# 传递输入数据
process = subprocess.Popen(
["grep", "error"],
stdin=subprocess.PIPE,
stdout=subprocess.PIPE,
text=True
)
stdout, _ = process.communicate("error: file not found\n")
🔒 安全警告:
• 禁止拼接用户输入到命令字符串(如subprocess.run(f"ls {user_input}"))
• 使用列表形式参数(["cmd", "arg"])而非字符串
• 设置shell=False(默认值)避免shell注入风险
signal:系统信号处理signal模块允许Python响应系统信号(如SIGINT、SIGTERM),实现优雅关闭。
import signal
import time
def handle_sigint(signum, frame):
print("Received SIGINT, cleaning up...")
# 执行清理操作
raise SystemExit(0)
# 注册信号处理器
signal.signal(signal.SIGINT, handle_sigint)
# 主循环
while True:
print("Running...")
time.sleep(1)
💡 关键要点:
• 信号只能在主线程处理(子线程会忽略)
• 避免在信号处理器中执行复杂操作(如I/O)
• Windows部分信号不支持(如SIGALRM)
A:标准库模块通常满足:
• 无第三方依赖(pip list中不显示)
• 路径位于sys.prefix + "/lib/pythonX.Y"目录
• 可通过import sys; sys.stdlib_module_names(Python 3.10+)获取完整列表
• 常见模块如os、sys、json、re、collections均为标准库成员
A:内置函数(如len()、print())直接由解释器提供,无需导入;标准库模块需显式import。内置函数通常为C语言实现,性能更高;标准库模块功能更专一,覆盖场景更广。
A:使用inspect模块:
import inspect
import json
print(inspect.getsource(json.dumps))
或直接查看源码路径:
import os
print(os.__file__)
A:标准库随Python主版本更新(如3.10→3.11),小版本仅修复安全漏洞。新模块需经PEP流程审批(如3.11的tomllib)。旧模块可能被弃用(如distutils在3.10标记为废弃)。
math.prod()、functools.cached_property;3.9+支持dict合并运算符|;3.11+引入tomllib解析TOML配置pathlib vs os.path:推荐使用pathlib(更现代)subprocess vs os.system:必须用subprocess(更安全)json vs pickle:JSON用于跨语言交换,pickle仅Python内部序列化re.compile()预编译正则(重复使用时提速50%+)Counter.most_common()比sorted(counter.items(), key=...)快3倍heapq处理Top-K问题比排序全量数据快10倍+python -m module_name运行模块(如python -m http.server)dir(module)查看模块属性列表help(module)获取在线文档