题目:日志分析器
需求:解析服务器日志,提取错误信息并统计高频错误类型
输入日志格式:
2024-05-20 14:23:11 ERROR [auth] User login failed
2024-05-20 14:24:05 WARNING [db] Connection timeout
参考代码:
import re
from collections import Counter
def analyze_logs(logs):
errors = []
for line in logs.split('\n'):
match = re.search(r'ERROR \[(\w+)\]', line)
if match: errors.append(match.group(1))
return Counter(errors)
题目:高效去重算法
需求:给定1000万整数列表,找出重复元素(内存限制256MB)
方案对比:
| 方案 | 内存 | 时间 | 适用场景 |
|------|------|------|----------|
| 集合法 | O(n) | O(n) | 数据可全载入 |
| 分块哈希 | O(n/k) | O(n) | 大数据集 |
| 布隆过滤器 | 固定 | 近似 | 允许误判 |
分块实现:
def dedupe_split(data, chunk_size=1000000):
seen = set()
duplicates = set()
for i in range(0, len(data), chunk_size):
chunk = data[i:i+chunk_size]
seen.update(chunk)
if len(seen) != len(set(chunk)) + len(seen - set(chunk)):
duplicates.update(set(chunk) & seen - set(chunk))
return duplicates
题目:文件监控系统
需求:实时监控指定目录,新增/修改文件时触发告警
跨平台方案:
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
class Handler(FileSystemEventHandler):
def on_modified(self, event):
if event.is_directory: return
print(f"Modified: {event.src_path}")
observer = Observer()
observer.schedule(Handler(), path="/data", recursive=True)
observer.start()
生产环境建议:
• 使用inotify(Linux)或FSEvents(macOS)提升性能
• 添加文件内容哈希校验避免重复触发
• 实现防抖机制(5秒内多次修改仅触发1次)