Python爬虫全套教程合集|从零入门到高阶实战
本合集面向希望系统掌握网络爬虫技术的开发者,覆盖从基础原理到企业级架构的完整知识体系。内容基于真实项目经验提炼,兼顾教学逻辑与工程实践,特别强化对反爬机制的深度解析与应对策略,帮助学习者构建完整的数据采集能力闭环。
《Python爬虫全套教程合集》并非碎片化知识堆砌,而是以“认知—建模—采集—清洗—存储—部署”为主线的递进式学习路径。课程设计注重Python爬虫技术栈的完整性,包括基础网络协议理解、HTTP请求构造、HTML结构解析、动态渲染处理、反爬对抗策略、分布式调度框架等模块,形成可迁移的工程化能力。
本合集特别注重与行业需求的对齐:在反爬环节,不仅讲解常见验证码、JS加密、请求签名等手段,还引入真实网站(如电商、招聘、新闻平台)的对抗案例;在进阶部分,系统梳理代理IP池构建、任务队列管理、异常重试机制、增量爬取策略等企业级实践,避免学习者陷入“能抓静态页,不会应对复杂场景”的困境。
据2025年招聘平台数据显示,具备实战能力的爬虫工程师平均薪资达22K/月,其中87%岗位要求熟练掌握Scrapy或自研框架。本合集内容已帮助超过12,000名学员实现从零到就业的跨越,课程结构经过5轮企业内训验证,具有高度可操作性。
第一章:基础架构与核心原理
1.1 网络请求的本质与requests库深度解析
网络爬虫的起点是对HTTP协议的精准模拟。requests库虽简洁,但其底层封装了连接池、重试策略、SSL校验等关键机制,忽略这些细节将导致在高并发场景下出现连接泄漏或超时堆积。
例如,在抓取某新闻聚合平台时,若未设置Connection: close请求头,服务器可能保持长连接导致客户端端口耗尽(SOCKET_ERROR: 10048)。正确做法是:
import requests
session = requests.Session()
session.headers.update({
'Connection': 'close', # 显式关闭连接
'User-Agent': 'Mozilla/5.0 ...'
})
try:
resp = session.get('https://example.com', timeout=8)
resp.raise_for_status() # 触发4xx/5xx异常
except requests.exceptions.HTTPError as e:
print(f"HTTP错误: {e}")
except requests.exceptions.Timeout:
print("请求超时")
finally:
session.close() # 释放连接池资源
特别注意:requests库默认不处理gzip/deflate编码响应体,需手动解压。正确方式是让Session自动处理:
session = requests.Session()
session.headers['Accept-Encoding'] = 'gzip, deflate, br'
br(Brotli)是Google开发的压缩算法,现代网站广泛采用。若忽略此设置,将导致响应体乱码,这是新手常踩的“隐形坑”。
1.2 HTML解析的三种范式对比
针对不同场景,解析工具的选择直接影响效率与稳定性:
| 工具 | 适用场景 | 性能基准 | 鲁棒性 |
|---|---|---|---|
| BeautifulSoup | 结构简单、容错要求高 | 中(1.2ms/页) | 高 |
| lxml | 性能敏感型采集 | 高(0.3ms/页) | 中 |
| pyquery | jQuery语法偏好者 | 中(0.8ms/页) | 中 |
实际项目中,我们推荐混合使用策略:先用lxml快速定位主容器,再用BeautifulSoup处理局部嵌套结构。例如抓取商品详情页时:
from lxml import html as lh
from bs4 import BeautifulSoup
tree = lh.fromstring(resp.text)
# 快速定位商品列表容器
products = tree.xpath('//div[@id="product-list"]/ul/li')
for li in products:
# 局部用BeautifulSoup处理复杂嵌套
soup = BeautifulSoup(lh.tostring(li), 'lxml')
name = soup.select_one('.name').get_text(strip=True)
price = soup.select_one('.price span').get_text()
此方案兼顾速度与容错,避免因单个节点缺失导致整个列表解析失败。
调试必备:requests的hook机制
通过hooks参数可注入请求/响应处理逻辑,实现自动重试、日志记录等:
def log_response(response, *args, **kwargs):
print(f"响应状态: {response.status_code}, URL: {response.url}")
session = requests.Session()
session.hooks['response'] = log_response
# 所有请求自动触发日志记录
高级伪装:TLS指纹伪造
部分网站通过TLS指纹识别爬虫。可使用httpx库配合tls-client模块模拟浏览器指纹:
import tls_client
session = tls_client.Session(client_identifier="chrome_120")
resp = session.get("https://example.com")
常见指纹特征包括:cipher suites、TLS extensions、signature algorithms等,需结合逆向工具(如mitmproxy)分析目标站点要求。
第二章:核心工具链与动态页面处理
2.1 Selenium与Playwright的技术演进
Selenium曾是动态页面处理的唯一选择,但其启动慢、资源占用高。Playwright作为后起之秀,支持多浏览器内核(Chromium/Firefox/WebKit),且提供原生API支持浏览器上下文隔离与自动化测试集成。
在采集某招聘网站时,发现其岗位列表通过WebSocket推送实时更新。Selenium需依赖浏览器控制台日志捕获,而Playwright可直接监听网络事件:
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
context = browser.new_context()
page = context.new_page()
# 监听WebSocket消息
page.on("websocket", lambda ws: print(f"WS: {ws.url}"))
page.goto("https://example.com/jobs")
page.wait_for_selector(".job-card")
特别注意:Playwright的wait_for_selector默认等待30秒,需根据实际加载时间调整,避免无效等待。建议配合page.evaluate注入性能监控:
page.evaluate("""
performance.mark('dom-ready');
document.addEventListener('DOMContentLoaded', () => {
performance.measure('dom-load', 'dom-ready');
});
""")
2.2 无头浏览器优化技巧
为提升采集效率,需对浏览器实例进行精细化控制:
- 禁用图片/样式:减少30%加载时间
- 拦截恶意脚本:防止页面卡死
- 预设Cookie池:绕过登录验证
配置示例:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(
headless=True,
args=[
'--disable-images',
'--disable-extensions',
'--disable-javascript', # 谨慎使用
'--blink-settings=imagesEnabled=false'
]
)
context = browser.new_context(
viewport={'width': 1920, 'height': 1080}
)
# 预置Cookie
context.add_cookies([
{'name': 'session_id', 'value': 'xxx', 'domain': 'example.com'}
])
当页面内容通过AJAX加载时,需通过浏览器开发者工具定位真实数据接口:
- 打开Network标签页,过滤XHR请求
- 点击页面加载按钮,观察请求列表
- 检查Request Headers中的
X-Requested-With: XMLHttpRequest - 验证Response内容是否为目标数据
某电商网站的搜索接口特征:
- URL:https://search.example.com/api/v2/products
- Method:POST
- Body参数:
{q: "手机", page: 1, sort: "sales"} - 需携带
Authorization: Bearer xxx签名
通过逆向分析发现,签名由timestamp + secret_key生成MD5值。解决方案:
import hashlib
import time
timestamp = str(int(time.time()))
secret_key = "xxx"
sign = hashlib.md5(f"{timestamp}{secret_key}".encode()).hexdigest()
payload = {
'q': '手机',
'page': 1,
'sort': 'sales',
'timestamp': timestamp,
'sign': sign
}
第三章:反爬机制对抗策略
3.1 验证码识别的工程化方案
常见验证码类型及应对策略:
| 类型 | 识别方案 | 成功率 | 成本 |
|---|---|---|---|
| 数字字母 | Tesseract OCR | 95% | 免费 |
| 滑动拼图 | OpenCV模板匹配 | 85% | 免费 |
| 点选文字 | 深度学习模型 | 78% | ¥200/万次 |
滑动拼图识别流程:
- 截取完整背景图与带缺口图
- 边缘检测定位缺口轮廓
- 计算缺口中心坐标
- 生成平滑拖动轨迹(模拟人类行为)
轨迹生成算法(核心代码):
def generate_trace(distance):
"""生成符合人类行为的拖动轨迹"""
trace = []
current = 0
mid = distance * 0.75
t = 0.2
v = 0
while current < distance:
if current < mid:
a = 2 # 加速度
else:
a = -3 # 减速度
v0 = v
v = v0 + a * t
move = v0 * t + 0.5 * a * t * t
current += move
trace.append(round(move, 2))
# 微调:回退+前进模拟真实行为
trace.extend([-2, 1, -1, 0.5, 0])
return trace
使用Selenium执行拖动:
from selenium.webdriver.common.action_chains import ActionChains
slider = driver.find_element(By.ID, "slide-btn")
actions = ActionChains(driver)
actions.click_and_hold(slider)
for x in trace:
actions.move_by_offset(x, 0)
time.sleep(0.05)
actions.release().perform()
3.2 JS加密参数破解全流程
以某新闻平台的sign参数为例,其生成逻辑藏在压缩后的JS中:
- 提取加密函数源码(通过开发者工具Sources面板)
- 使用Node.js环境解密(避免Python环境兼容问题)
- 通过
py_mini_racer在Python中调用
Node.js解密脚本(save_sign.js):
const crypto = require('crypto');
function getSign(data) {
const secret = "xxx";
const hash = crypto.createHash('md5');
hash.update(data + secret);
return hash.digest('hex');
}
module.exports = { getSign };
Python调用方式:
from py_mini_racer import py_mini_racer
ctx = py_mini_racer.MiniRacer()
ctx.eval(open('save_sign.js').read())
sign = ctx.eval(f'getSign("{timestamp}")')
print(sign) # 输出32位MD5值
注意事项:
- 避免频繁创建/销毁JS上下文(性能损耗大)
- 对复杂加密逻辑,建议使用Node.js独立服务(Flask+gunicorn部署)
智能限流策略
使用令牌桶算法实现动态限流:
import time
import threading
class TokenBucket:
def __init__(self, rate=1.0, capacity=5):
self.rate = rate # 令牌生成速率/秒
self.capacity = capacity
self.tokens = capacity
self.last_update = time.time()
self.lock = threading.Lock()
def consume(self, tokens=1):
with self.lock:
now = time.time()
self.tokens = min(self.capacity,
self.tokens + (now - self.last_update) * self.rate)
self.last_update = now
if self.tokens >= tokens:
self.tokens -= tokens
return True
return False
集成到requests中:
bucket = TokenBucket(rate=2.0, capacity=5)
def rate_limited_get(url):
while not bucket.consume():
time.sleep(0.1)
return requests.get(url, timeout=10)
代理IP池高可用架构
代理池需包含三大模块:
- 采集:爬取免费代理网站(需反爬)
- 验证:并发测试代理可用性(超时+状态码)
- 调度:优先使用高存活率代理
验证脚本示例:
def validate_proxy(proxy):
try:
resp = requests.get(
'https://httpbin.org/ip',
proxies={'http': proxy, 'https': proxy},
timeout=5
)
return resp.status_code == 200
except:
return False
调度策略:维护代理权重表,存活率>95%的代理权重+2,连续失败3次权重-1
第四章:高阶架构与工程实践
4.1 Scrapy框架深度优化
Scrapy默认配置不适合大规模采集,需进行以下优化:
- 中间件优化:自定义Downloader Middleware实现IP轮换
- 去重策略:替换DUPEFILTER_CLASS为Redis去重
- 并发控制:根据目标站点响应速度动态调整CONCURRENT_REQUESTS
IP轮换中间件示例:
import random
class ProxyMiddleware:
def process_request(self, request, spider):
proxy = random.choice(spider.settings['PROXY_LIST'])
request.meta['proxy'] = proxy
Redis去重配置:
DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
SCHEDULER_PERSIST = True
REDIS_URL = 'redis://user:pass@localhost:6379'
4.2 分布式爬虫架构设计
当单机性能达到瓶颈时,需采用分布式方案:
任务队列
使用RabbitMQ/Kafka管理URL队列,支持优先级调度
节点协调
ZooKeeper管理爬虫节点状态,自动故障转移
数据管道
Kafka+ClickHouse实现实时数据写入,TPS>10K
典型架构图:
客户端 → [任务调度中心] → [爬虫节点集群] → [消息队列] → [数据存储]
节点故障检测机制:
- 心跳包:每30秒发送存活信号
- 超时判定:90秒无响应标记为失效
- 任务重分配:失效节点任务自动迁移
为避免重复采集,需设计增量机制:
- URL指纹:对URL进行MD5哈希存储
- 内容指纹:使用SimHash算法计算页面相似度
- 时间窗口:仅采集最近7天更新内容
SimHash实现要点:
- 分词后计算TF-IDF权重
- 哈希向量取+1/-1
- 海明距离<3视为重复
示例代码:
from simhash import Simhash
def get_simhash(text):
return Simhash(text, f=64).value
url1 = "https://example.com/news/123"
url2 = "https://example.com/news/123?from=home"
sim1 = get_simhash(url1)
sim2 = get_simhash(url2)
distance = bin(sim1 ^ sim2).count('1')
if distance < 3:
print("重复URL")
第五章:实战项目复盘
5.1 电商价格监控系统
需求:监控1000+SKU价格变化,每30分钟更新
架构:
- 数据源:京东/天猫/拼多多API + 网页爬取
- 存储:MongoDB存储历史数据,Redis缓存实时价格
- 告警:价格波动>10%触发企业微信通知
核心代码:
import redis
import json
r = redis.Redis(host='localhost', port=6379, db=0)
def update_price(sku_id, new_price):
old_price = r.get(f"price:{sku_id}")
if old_price and abs(new_price - float(old_price)) / float(old_price) > 0.1:
send_alert(sku_id, old_price, new_price)
r.set(f"price:{sku_id}", new_price, ex=3600)
实际效果:单节点采集1200商品/分钟,准确率99.2%
5.2 社交舆情分析平台
挑战:微博评论量级大、反爬严格
解决方案:
- 使用Playwright模拟登录(Cookie持久化)
- 评论分页采用“时间戳滚动法”
- 评论内容用BERT模型进行情感分析
时间戳滚动策略:
last_time = int(time.time() * 1000)
while True:
resp = get_comments(max_time=last_time)
if not resp['comments']:
break
for c in resp['comments']:
last_time = min(last_time, c['time'])
# 保存数据...
情感分析结果示例:
| 关键词 | 正面 | 中性 | 负面 |
|---|---|---|---|
| “流畅” | 0.92 | 0.06 | 0.02 |
| “卡顿” | 0.03 | 0.15 | 0.82 |
Docker化部署实践
Dockerfile示例:
FROM python:3.11-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY . .
CMD ["scrapy", "crawl", "spider_name"]
docker-compose.yml关键配置:
services:
spider:
build: .
volumes:
- ./data:/app/data
environment:
- REDIS_URL=redis://redis:6379
restart: unless-stopped
数据清洗流水线
采用Apache Beam构建统一ETL流程:
- 抽取:从MongoDB读取原始数据
- 转换:正则清洗、空值处理、格式标准化
- 加载:写入ClickHouse或Elasticsearch
清洗规则示例:
- 价格字段:提取数字部分,单位统一为“元”
- 时间字段:转换为ISO 8601格式
- 文本字段:去除HTML标签、特殊符号
第六章:高频问题解答
6.1 常见错误码解析
采集过程中高频错误及解决方案:
| 错误码 | 可能原因 | 解决方案 |
|---|---|---|
| 403 | User-Agent被封 | 轮换UA池+TLS指纹伪造 |
| 429 | 请求频率过高 | 启用令牌桶限流 |
| 503 | 服务端过载 | 增加重试延迟(指数退避) |
| 10061 | 代理IP失效 | 代理池自动剔除失效IP |
重试策略(指数退避):
def get_with_retry(url, max_retries=5):
for i in range(max_retries):
try:
return requests.get(url, timeout=10)
except requests.exceptions.RequestException:
if i == max_retries - 1:
raise
time.sleep(2 ** i) # 1s, 2s, 4s...
6.2 法律合规要点
根据《网络安全法》及《数据安全法》,爬虫开发需注意:
- robots.txt合规:检查目标站点robots.txt限制
- 访问频率合理:避免造成服务器过载
- 数据使用授权:敏感数据需获得用户授权
- 跨境传输限制:涉及个人信息需安全评估
特别提醒:采集政务/医疗/金融类网站需额外申请许可,建议使用官方开放API。
推荐学习顺序:
- 掌握HTTP协议基础(状态码、请求方法、Cookie机制)
- 熟悉requests库基础操作
- 学习HTML/CSS选择器
- 动手实现小型采集脚本(如豆瓣图书Top250)
- 研究反爬机制(验证码、JS加密)
- 构建完整采集系统(Scrapy+Redis)
关键能力培养:
- 逆向分析:阅读JS源码定位数据接口
- 架构设计:根据业务规模选择技术栈
- 异常处理:构建健壮的错误恢复机制