网络爬虫(Web Crawler)是模拟浏览器行为、自动抓取网页内容的程序。其核心逻辑遵循“请求→响应→解析→存储”四步循环模型。与搜索引擎爬虫不同,Python 爬虫更侧重于特定目标数据的定向采集,强调可控性、效率与鲁棒性。
工作原理分三层:
典型示例:采集某新闻网站首页标题与发布时间的完整流程:
import requests
from bs4 import BeautifulSoup
# 1. 构建请求头(模拟真实浏览器)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Referer': 'https://www.example.com/'
}
# 2. 发起GET请求
url = 'https://news.example.com'
response = requests.get(url, headers=headers, timeout=10)
response.encoding = 'utf-8' # 显式指定编码
# 3. 解析DOM结构提取信息
soup = BeautifulSoup(response.text, 'html.parser')
articles = soup.select('div.article-item')
for article in articles:
title = article.select_one('h2').get_text(strip=True)
pub_time = article.select_one('span.time').get_text(strip=True)
print(f"《{title}》[{pub_time}]")
生产级爬虫系统需采用分层架构保障稳定性与可扩展性:
典型架构图示(文字版):
[请求队列] → [调度器]
↓
[下载器] ← [中间件]
↓
[解析器] → [数据管道]
↓
[存储层] → [监控告警]
实战中需构建闭环工作流,包含以下关键环节:
示例:带重试机制的请求封装:
import time
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
session = requests.Session()
retries = Retry(total=5, backoff_factor=1, status_forcelist=[429, 500, 502, 503, 504])
session.mount('http://', HTTPAdapter(max_retries=retries))
session.mount('https://', HTTPAdapter(max_retries=retries))
try:
response = session.get(url, headers=headers, timeout=15)
response.raise_for_status()
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
# 记录失败日志并返回空值
作为最广泛使用的HTTP客户端库,requests提供简洁API实现复杂请求逻辑:
关键技巧:通过Session对象复用TCP连接,显著提升批量请求效率
针对HTML/XML文档的解析利器,支持四种解析器:
选择建议:生产环境优先使用lxml,需兼容老旧页面时选html5lib
模拟真实用户操作的关键工具,特别适用于:
最佳实践:配合隐式等待与显式等待,避免固定sleep导致的效率损失
基于Twisted的异步网络框架,核心组件:
架构优势:内置中间件系统、日志监控、扩展机制,支持分布式部署
常见Headers伪装参数:
高级技巧:通过浏览器开发者工具复制真实请求头,替换到爬虫中
应对IP封禁的核心策略:
代理池结构示例(Redis):
SET proxy:ip1 "192.168.1.100:8080|http|0.8"
SET proxy:ip2 "203.0.113.50:3128|https|0.95"
ZADD proxy:score 0.8 ip1 0.95 ip2
常见JS反爬手段及应对方案:
| 反爬手段 | 破解方法 | 示例场景 |
|---|---|---|
| 动态加载数据 | 分析Network请求,直接调用API接口 | 新闻列表页数据通过XHR获取 |
| 参数加密传输 | 逆向JS找到加密逻辑(如AES/DES) | 请求参数包含时间戳+签名 |
| 字体文件混淆 | 下载字体文件,映射字符编码 | 数字被映射为自定义字体 |
| Canvas渲染文本 | 模拟渲染过程或OCR识别 | 价格信息通过Canvas绘制 |
实战案例:某电商网站价格数据加密流程
sign字段,值为MD5(时间戳+token)
主流验证码类型及处理方案:
第三方服务:推荐使用打码平台(如2Captcha、超级鹰),成本约¥0.03/次
明确禁止未经同意收集用户个人信息。爬虫采集数据前需评估:
某公司爬取某招聘网站职位数据,法院认定:
关键合规要求:
生产环境必备监控指标:
告警渠道:企业微信/钉钉/邮件(多通道冗余)
Scrapy-Redis实现分布式方案:
部署拓扑:
[Spider1] → [Redis] ← [Spider2]
[Spider3] → [MongoDB](结果存储)
[Scheduler] → [Cron Job](周期调度)
关键容错设计:
监控竞品价格变动,构建动态调价模型:
实时抓取全网新闻/社交媒体:
采集招聘网站职位数据: