所有网页数据均可归类为以下三种形态:
实际项目中,70%以上数据问题源于对数据形态的误判。建议采用“三步诊断法”:① 查看源代码 ② 检查Network面板 ③ 观察DOM渲染差异
requests库是Python最主流的HTTP客户端,但90%开发者仅使用基础GET/POST方法。专业爬虫需掌握:
典型请求头构建示例:
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*itemprop["name"]/@content')
① 无头模式优化配置
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless=new') # 新版无头模式
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--window-size=1920,1080')
chrome_options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36')
driver = webdriver.Chrome(options=chrome_options)
② 智能等待策略:结合显式等待与条件判断
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
# 等待元素加载完成
wait = WebDriverWait(driver, 15)
try:
element = wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, '.content-loaded')
))
# 等待动态内容渲染完成
wait.until(lambda d: d.execute_script(
'return document.readyState'
) == 'complete')
# 等待特定JS变量出现
wait.until(lambda d: d.execute_script(
'return typeof window.pageData !== "undefined"'
))
except:
print("元素加载超时,尝试备用方案")
① 页面劫持技巧:拦截网络请求获取原始数据
import asyncio
from pyppeteer import launch
async def intercept_requests(page):
await page.setRequestInterception(True)
async def handle_request(req):
if req.resourceType == 'document':
await req.continue_()
elif req.resourceType in ['xhr', 'fetch']:
# 拦截API请求
if 'api/data' in req.url:
response = await req.response()
if response:
data = await response.json()
process_data(data)
else:
await req.abort()
page.on('request', handle_request)
async def main():
browser = await launch(headless=True)
page = await browser.newPage()
await intercept_requests(page)
await page.goto('https://example.com')
# 执行其他操作...
await browser.close()
asyncio.run(main())
② 本地存储操作:绕过Cookie验证
# 保存本地存储数据
await page.evaluate('''() => {
localStorage.setItem('auth_token', 'your_token_here');
sessionStorage.setItem('session_id', 'your_session_id');
}''')
# 加载预设cookie
await page.setCookie({
'name': 'session',
'value': 'your_session_value',
'domain': '.example.com',
'path': '/',
'expires': time.time() + 3600
})
| 特征 | 静态页面 | 动态页面 | 混合页面 |
|---|---|---|---|
| 源代码可见性 | 内容完整 | 无内容或占位符 | 部分内容可见 |
| Network面板 | 仅HTML请求 | 大量XHR请求 | 混合请求类型 |
| DOM差异 | 初始即完整 | 后添加节点 | 部分节点动态添加 |
| JS变量 | 无数据变量 | 全局数据对象 | 部分数据内联 |
通过Chrome DevTools发现商品列表通过API加载:
POST /api/product/list
Body: {"category":"electronics","page":1,"sort":"sales"}
分析JS代码发现签名生成逻辑:
sign = md5(timestamp + secret_key + params)
→ 提取secret_key源码位置
→ 模拟生成签名参数
构建代理池 + 线程池控制
→ 8线程并发
→ 代理IP轮询
→ 错误重试3次
→ 每页采集间隔2-5秒随机
MongoDB文档存储结构:
{
"product_id": "P123456",
"title": "商品标题",
"price": 299.00,
"sales": 1250,
"comments": [...],
"timestamp": "2023-10-15T08:30:00"
}
| 反爬类型 | 检测特征 | 应对策略 | 成功率 |
|---|---|---|---|
| User-Agent检测 | 非浏览器UA | 模拟主流浏览器UA组合 | 98% |
| 请求频率限制 | 固定间隔请求 | 随机间隔+请求头X-Forwarded-For轮换 | 95% |
| Cookie验证 | 缺失或无效Cookie | 会话保持+预登录模拟 | 92% |
| JS反爬 | 动态生成关键数据 | 逆向JS获取数据源 | 85% |
| 行为分析 | 鼠标轨迹异常 | 模拟真实用户行为(selenium鼠标操作) | 70% |
① TLS指纹伪装:使用tls-client库模拟浏览器TLS指纹
→ 避免SNI泄露
→ 模拟真实浏览器加密套件
→ 伪装证书哈希值
import tls_client
session = tls_client.Session(
client_identifier="chrome_118",
random_tls_extension_order=True
)
response = session.get("https://target.com",
headers={"User-Agent": "Chrome/118.0.0.0"})
② 请求时序模拟:记录真实用户操作时序,重放请求
→ 记录鼠标移动轨迹
→ 模拟键盘按键间隔
→ 生成自然的请求时间戳分布
① 代理质量分级
| 级别 | 响应时间 | 成功率 | 使用策略 |
|---|---|---|---|
| S级 | <0.8s | >98% | 关键数据采集 |
| A级 | 0.8-1.5s | 95-98% | 常规数据采集 |
| B级 | 1.5-3s | 90-95% | 备用采集 |
| C级 | >3s | <90% | 仅用于低频请求 |
② 代理健康检测
→ 每10分钟自动检测存活率
→ 失败率超10%自动降级
→ 高峰期优先使用S级代理
案例:某新闻网站加密参数突破
1. 发现请求参数包含动态sign字段
2. 定位JS加密函数位置:
function generateSign(data, timestamp) { return md5(data + secret + timestamp) }
3. 提取secret_key源码位置(硬编码在JS中)
4. 构建Python模拟函数:
sign = hashlib.md5((data + secret_key + timestamp).encode()).hexdigest()
5. 通过headers注入时间戳参数,绕过服务端验证
需求:采集全国统计局季度经济数据
挑战:数据分散在各省市网站,格式不统一
解决方案:
1. 构建省级政府网站地图
2. 开发自适应解析器(支持PDF/Excel/HTML)
3. 实现数据标准化清洗
需求:采集微博热门话题评论
挑战:反爬严格+评论结构复杂
解决方案:
1. 使用Selenium模拟登录
2. 逆向API请求参数(mids、containerid等)
3. 采用分层采集策略:
- 热门评论:直接抓取
- 次级评论:通过评论ID递归获取
4. 实现评论树结构还原
{
"comment_id": "123456789",
"user_id": "user_abc",
"user_name": "网友123",
"content": "这条消息很有价值!",
"like_count": 125,
"reply_count": 3,
"replies": [
{
"comment_id": "123456790",
"content": "同意楼上观点",
"user_name": "网友456"
}
]
}
需求:监控1000+商品价格波动
挑战:商品ID加密+价格实时变动
解决方案:
1. 构建商品ID映射库(原始ID→加密ID)
2. 实现价格变化检测算法:
- 基准价:首次采集价格
- 波动阈值:±5%触发预警
- 价格趋势:7日价格变化率
3. 价格异常检测模型
| 指标 | 计算公式 | 预警阈值 |
|---|---|---|
| 日价格波动 | (当日价-基准价)/基准价 | >±10% |
| 周价格趋势 | 7日价格斜率 | >5%或<-8% |
| 异常价格 | 偏离同类商品均值±30% | 持续2小时 |
验证码处理方案分三层策略:
最佳实践:构建混合策略系统,简单验证码自动识别,复杂验证码转人工平台,同时建立识别结果反馈机制持续优化
IP防护策略需从三方面入手:
关键指标监控:
- 403错误率>5% → 立即暂停IP
- 响应时间突增300% → 检查IP质量
- 请求成功率连续下降 → 调整策略
专业数据清洗流程:
存储方案选择建议:
- 结构化数据:MySQL/PostgreSQL
- 半结构化数据:MongoDB
- 时序数据:InfluxDB
- 大量文本:Elasticsearch
专业爬虫系统应监控以下核心指标:
| 监控维度 | 关键指标 | 健康阈值 | 监控工具 |
|---|---|---|---|
| 采集效率 | 每分钟采集量 | >500条 | 自定义计数器 |
| 数据质量 | 有效数据率 | >95% | 数据校验模块 |
| 系统稳定性 | 故障率 | <2% | Sentry日志监控 |
| 资源消耗 | 内存/CPU使用率 | <70% | Prometheus |
| 反爬应对 | IP封禁率 | <0.5% | 自定义检测脚本 |
性能优化实践:
- 批量采集 vs 单条采集
- 并发数调优(线程数=CPU核心数×1.5)
- 数据库批量写入(batch_size=100)
- 内存管理(定期清理缓存对象)