Python爬虫分解教程|从零构建高阶网络数据抓取体系
本教程面向有一定编程基础的开发者,系统拆解Python网络爬虫技术栈,从基础HTTP交互原理到高阶反爬策略对抗,从简单requests抓取到Scrapy分布式架构设计,层层递进,辅以真实可运行代码示例与避坑指南。
在数据成为核心生产要素的今天,爬虫作为数据采集的关键入口,其技术深度与工程价值日益凸显。但需明确:爬虫不是“绕过限制”的代名词,而是对网络协议、资源调度与法律边界的综合实践能力体现。
① 遵守robots.txt;② 控制请求频率;③ 不绕过身份验证机制;④ 不采集个人敏感信息;⑤ 不影响网站正常服务。
本教程知识图谱
- 基础层:HTTP协议、HTML结构、URL解析
- 抓取层:requests、aiohttp、httpx
- 解析层:BeautifulSoup、lxml、pyquery
- 动态层:Selenium、Playwright、undetected-chromedriver
- 框架层:Scrapy核心组件、中间件、管道
- 工程层:日志监控、异常重试、代理池、分布式调度
- 合规层:GDPR/《网络安全法》/《个人信息保护法》
爬虫原理拆解:HTTP交互的微观世界
任何爬虫本质都是模拟浏览器行为,构造符合服务端预期的HTTP请求,接收响应并解析内容。其核心流程可分解为:
- URL构造:根据目标站点结构生成可访问路径(如分页参数、时间戳、加密token)
- 请求构建:设置Method(GET/POST)、Headers(User-Agent、Cookie、Referer)、Body(POST数据)
- 连接建立:DNS解析→TCP三次握手→TLS握手(HTTPS)
- 数据接收:响应状态码、响应头(Content-Type、Set-Cookie)、响应体(HTML/JSON)
- 内容解析:DOM树提取、正则匹配、JSON反序列化
- 数据存储:本地文件、数据库(MySQL/MongoDB)、消息队列(Kafka/RabbitMQ)
HTTP请求完整生命周期示例
以抓取 https://www.example.com/api/data?page=2 为例:
GET /api/data?page=2 HTTP/1.1
Host: www.example.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
Accept: application/json, text/plain, */*
Referer: https://www.example.com/list
Cookie: sessionid=abc123; _ga=GA1.2.123456789
Connection: keep-alive
服务端响应可能包含:
HTTP/1.1 200 OK
Content-Type: application/json
Set-Cookie: new_token=xyz789; HttpOnly; Secure
Cache-Control: no-cache
X-RateLimit-Limit: 100
X-RateLimit-Remaining: 98
{"code":200,"data":[{"id":102,"title":"数据条目"}]}
关键抓手:Headers字段深度解析
| 字段 | 作用 | 爬虫注意事项 |
|---|---|---|
| User-Agent | 标识客户端类型 | 必须伪装为真实浏览器,避免默认python-requests标识 |
| Referer | 标识请求来源页 | 防盗链常用校验,如视频网站播放页请求需携带来源页URL |
| Cookie | 会话状态标识 | 登录后自动携带,但需警惕过期与反爬Cookie(如__session) |
| X-Requested-With | AJAX请求标识 | 值通常为XMLHttpRequest,缺失可能导致返回登录页 |
| Accept-Encoding | 支持的压缩方式 | 包含gzip/deflate可减小传输量,但需正确解压 |
反爬前置校验:TLS指纹识别
现代网站(如Cloudflare、Akamai)已开始检测TLS握手特征(ClientHello中的cipher suites、extensions等)。普通requests库默认使用OpenSSL默认配置,易被识别为爬虫。
解决方案:
① 使用undetected-chromedriver启动无痕Chrome;
② 自定义httpx客户端TLS配置;
③ 采用Selenium + 浏览器指纹防护插件(如CanvasFingerprintBlock)
工具链全景解析:从基础到高阶
requests:同步抓取基石
- 适用场景:小规模静态页面采集
- 核心参数:
timeout防卡死、allow_redirects控制跳转 - 典型错误:SSL证书验证失败 →
verify=False(仅测试环境!)
BeautifulSoup:DOM解析主力
- 解析器:lxml(最快)、html.parser(内置)、html5lib(容错高)
- 推荐用法:
soup.find('div', class_='item-list').find_all('a', href=True) - 避坑:避免使用
text属性,改用get_text()提取纯文本
Selenium:动态页面终结者
- 核心优势:完整JS执行环境,可操作DOM元素
- 关键技巧:
WebDriverWait等待元素加载、execute_script注入JS - 性能优化:禁用图片加载(
prefs={"profile.managed_default_content_settings.images":2})
Scrapy:工业级爬虫框架
- 核心组件:Spider、Engine、Scheduler、Downloader、SpiderMiddleware
- 高阶技巧:自定义RetryMiddleware处理403、Pipeline去重、Redis分布式
- 部署方案:Scrapy-Redis + Redis + Supervisor
异步抓取方案对比
⚠️ 注意:非CPU密集型任务(如纯HTTP请求)才适用,文件下载仍需多进程
| 方案 | 库 | 适用场景 | 学习成本 |
|---|---|---|---|
| aiohttp + BeautifulSoup | aiohttp | 中等规模静态页面采集 | ★★★☆ |
| httpx + lxml | httpx | 需同步/异步混合场景 | ★★☆☆ |
| Scrapy + Twisted | Scrapy | 超大规模分布式采集 | ★★★★★ |
反爬对抗策略:从被动防御到主动突破
常见反爬手段及应对方案
- IP封禁:
→ 解决方案:代理池(付费API代理 + 自建代理池)、请求间隔随机化(3-8秒)、失败后自动切换IP - JS动态渲染:
→ 解决方案:
① 分析XHR网络请求,直接请求API接口(最高效)
② 使用Selenium模拟浏览器
③ 逆向JS加密(如B站视频播放URL) - 验证码识别:
→ 解决方案:
① 滑块验证码:OpenCV模板匹配
② 点选验证码:Tesseract OCR + 坐标计算
③ 滑动拼图:深度学习模型(如YOLOv5)定位缺口 - 动态Token(如HMAC签名):
→ 解决方案:
① 定位加密JS源码(F12 Sources)
② 使用execjs调用JS加密函数
③ 逆向加密逻辑(需Python重写加密算法)
反爬对抗实战:某招聘网站动态加密案例
目标:抓取 https://jobs.example.com/api/list 接口数据
问题现象:
- 请求头含 X-Signature: abc123 字段
- 刷新页面后该值变化
- 直接复用旧签名返回403
解决步骤:
- 在Chrome DevTools Network → Filter中搜索
api/list - 点击请求 → Headers → 查看Request URL参数:
?page=1×tamp=1698765432&token=xyz789 - 全局搜索
X-Signature关键词,定位到JS源码:
function genSign(data){return md5(data+secretKey)} - 逆向分析:
- secretKey通过接口/api/secret动态获取
- data = JSON.stringify({page:1, timestamp:1698765432}) - Python重写加密逻辑:
import hashlib import requests def get_secret(): r = requests.get("https://jobs.example.com/api/secret") return r.json()["key"] def gen_sign(page, timestamp): secret = get_secret() data = {"page": page, "timestamp": timestamp} payload = json.dumps(data, separators=(',', ':')) sign = hashlib.md5((payload + secret).encode()).hexdigest() return sign
真实案例拆解:从入门到进阶
案例1:静态页面数据采集(招聘信息)
需求
采集某招聘网站第1-10页岗位信息(岗位名、公司、薪资、城市)
技术方案
- 工具:requests + BeautifulSoup
- 关键代码:
import requests
from bs4 import BeautifulSoup
import csv
import time
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)..."
}
with open("jobs.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(["岗位", "公司", "薪资", "城市"])
for page in range(1, 11):
url = f"https://jobs.example.com/list?page={page}"
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.text, "lxml")
items = soup.select("div.job-item")
for item in items:
title = item.select_one(".job-title").get_text(strip=True)
company = item.select_one(".company-name").get_text(strip=True)
salary = item.select_one(".salary").get_text(strip=True)
city = item.select_one(".city").get_text(strip=True)
writer.writerow([title, company, salary, city])
time.sleep(3 + 2 * (page % 3)) # 随机延迟
避坑指南
- 编码问题:检查
r.encoding,必要时用apparent_encoding修正 - 反爬触发:添加随机User-Agent池(10+种主流浏览器)
- 数据缺失:用try-except包裹解析逻辑,避免单条失败导致中断
案例2:动态加载数据(新闻评论)
需求
抓取某新闻页的全部评论(含回复树结构)
问题分析
- 初始HTML无评论内容(JS动态加载)
- 评论接口:
/api/comments?news_id=123&offset=20&limit=20 - 含时间戳参数:需动态计算
解决方案
import requests
import time
import json
def get_comments(news_id, offset=0):
timestamp = int(time.time() * 1000)
url = f"https://news.example.com/api/comments"
params = {
"news_id": news_id,
"offset": offset,
"limit": 20,
"timestamp": timestamp
}
headers = {
"User-Agent": "Mozilla/5.0...",
"Referer": f"https://news.example.com/detail/{news_id}"
}
r = requests.get(url, params=params, headers=headers)
return r.json()
# 分页抓取所有评论
all_comments = []
for offset in range(0, 1000, 20):
data = get_comments(123, offset)
if not data["data"]:
break
all_comments.extend(data["data"])
time.sleep(1.5)
案例3:登录态维持(论坛数据)
需求
采集需要登录的论坛精华帖数据
关键步骤
- 模拟登录获取Cookie:
- POST登录接口/login,携带用户名、密码、验证码
- 验证码图片路径:/captcha?r=1698765432(动态生成) - 使用Session维持登录态:
session = requests.Session()
session.post(login_url, data=login_data) - 后续请求自动携带Cookie:
session.get("https://forum.example.com/essence")
验证码识别方案
- OCR识别:`pytesseract.image_to_string(img)`
- 精准度优化:
① 图像预处理(灰度化、二值化)
② 使用Tesseract自定义字库(训练数字+字母组合)
③ 调用第三方API(如百度OCR、阿里云验证码识别)
数据清洗与存储:从原始文本到可用数据
典型清洗任务
- HTML标签清理:
re.sub(r"<.*?>", "", text) - 特殊字符处理:
text.replace("\xa0", " ")(不间断空格) - 编码问题:
text.encode('latin1').decode('utf-8') - 数值提取:
re.search(r"\d+", salary).group() - 去重策略:
- 哈希去重:hashlib.md5(str(item).encode()).hexdigest()
- Bloom Filter(超大规模数据)
存储方案对比
CSV/JSON
- 适用:小规模数据(<10万条)
- 优点:开箱即用、可视化友好
- 缺点:无索引、查询慢、容量受限
MySQL
- 适用:结构化数据(如岗位、商品)
- 优化技巧:
- 用utf8mb4字符集
- 对常用查询字段建索引
- 批量插入:executemany()
MongoDB
- 适用:非结构化数据(如评论、日志)
- 优势:
- 动态Schema
- 内置JSON支持
- 分片集群扩展
Scrapy Pipeline实战:去重+入库
import hashlib
from pymongo import MongoClient
class DuplicatesPipeline:
def __init__(self):
self.ids_seen = set()
def process_item(self, item, spider):
item_id = hashlib.md5(item['url'].encode()).hexdigest()
if item_id in self.ids_seen:
raise DropItem(f"Duplicate item found: {item['url']}")
else:
self.ids_seen.add(item_id)
return item
class MongoDBPipeline:
def __init__(self):
self.client = MongoClient("mongodb://localhost:27017/")
self.db = self.client["crawler_db"]
self.collection = self.db["jobs"]
def process_item(self, item, spider):
self.collection.update_one(
{"url": item["url"]},
{"$set": dict(item)},
upsert=True
)
return item
爬虫合规性:法律红线与风险规避
合规操作清单
- robots.txt检查:
访问https://目标站点/robots.txt,禁止目录(如 /admin/)不得爬取 - 请求频率控制:
建议 ≥ 3秒/请求,高并发需申请白名单 - 敏感信息过滤:
自动脱敏:姓名→“张*”,手机号→“138****1234” - 数据最小化原则 仅采集业务必需字段(如商品名、价格),避免采集用户评论等衍生数据
真实案例警示
- 某招聘网站爬虫案(2021):
爬取简历数据超50万份,因未遵守robots.txt + 未授权访问,被判赔偿43万元 - 某电商比价工具(2022):
使用Selenium模拟真人操作绕过验证码,被认定为“技术规避措施”,构成不正当竞争
① 与目标网站签订数据授权协议
② 使用官方API(如微博开放平台、百度地图API)
③ 保留爬虫日志备查(含请求时间、IP、URL)
高频问题解答
Q1:爬虫报错“403 Forbidden”怎么办?
A:常见原因及解决方案:
- Headers缺失:补充User-Agent、Referer、Accept-Language
- IP被封:切换代理IP、降低请求频率
- Cookie过期:模拟登录重新获取
- JS加密:逆向签名逻辑(如HMAC-SHA256)
Q2:如何判断网站是否允许爬取?
A:三步验证法:
1. 查看 robots.txt(如 https://example.com/robots.txt)
2. 检查服务条款(Terms of Service)是否禁止自动化访问
3. 观察是否有“禁止爬虫”声明(如页面底部小字)
Q3:Scrapy与Selenium如何混合使用?
A:推荐混合架构:
- 静态页:Scrapy高并发抓取
- 动态页:Scrapy回调Selenium中间件处理
- 关键:用SeleniumMiddleware拦截请求,处理完返回Response对象
Q4:如何提升爬虫稳定性?
A:五层防护机制:
1. 请求层:超时重试(retry_times=3)
2. 代理层:IP池轮换(proxies参数)
3. 解析层:异常捕获(try-except包裹)
4. 存储层:失败重试队列(RQ)
5. 监控层:日志告警(logging.error + 邮件通知)