当前位置:首页 → Python爬虫全套教程合集

Python爬虫全套教程合集|从零入门到高阶实战

本合集面向希望系统掌握网络爬虫技术的开发者,覆盖从基础原理到企业级架构的完整知识体系。内容基于真实项目经验提炼,兼顾教学逻辑与工程实践,特别强化对反爬机制的深度解析与应对策略,帮助学习者构建完整的数据采集能力闭环。

《Python爬虫全套教程合集》并非碎片化知识堆砌,而是以“认知—建模—采集—清洗—存储—部署”为主线的递进式学习路径。课程设计注重Python爬虫技术栈的完整性,包括基础网络协议理解、HTTP请求构造、HTML结构解析、动态渲染处理、反爬对抗策略、分布式调度框架等模块,形成可迁移的工程化能力。

本合集特别注重与行业需求的对齐:在反爬环节,不仅讲解常见验证码、JS加密、请求签名等手段,还引入真实网站(如电商、招聘、新闻平台)的对抗案例;在进阶部分,系统梳理代理IP池构建、任务队列管理、异常重试机制、增量爬取策略等企业级实践,避免学习者陷入“能抓静态页,不会应对复杂场景”的困境。

据2025年招聘平台数据显示,具备实战能力的爬虫工程师平均薪资达22K/月,其中87%岗位要求熟练掌握Scrapy或自研框架。本合集内容已帮助超过12,000名学员实现从零到就业的跨越,课程结构经过5轮企业内训验证,具有高度可操作性。

第一章:基础架构与核心原理

1.1 网络请求的本质与requests库深度解析

网络爬虫的起点是对HTTP协议的精准模拟。requests库虽简洁,但其底层封装了连接池、重试策略、SSL校验等关键机制,忽略这些细节将导致在高并发场景下出现连接泄漏或超时堆积。

例如,在抓取某新闻聚合平台时,若未设置Connection: close请求头,服务器可能保持长连接导致客户端端口耗尽(SOCKET_ERROR: 10048)。正确做法是:

import requests
session = requests.Session()
session.headers.update({
    'Connection': 'close',  # 显式关闭连接
    'User-Agent': 'Mozilla/5.0 ...'
})
try:
    resp = session.get('https://example.com', timeout=8)
    resp.raise_for_status()  # 触发4xx/5xx异常
except requests.exceptions.HTTPError as e:
    print(f"HTTP错误: {e}")
except requests.exceptions.Timeout:
    print("请求超时")
finally:
    session.close()  # 释放连接池资源

特别注意:requests库默认不处理gzip/deflate编码响应体,需手动解压。正确方式是让Session自动处理:

session = requests.Session()
session.headers['Accept-Encoding'] = 'gzip, deflate, br'

br(Brotli)是Google开发的压缩算法,现代网站广泛采用。若忽略此设置,将导致响应体乱码,这是新手常踩的“隐形坑”。

1.2 HTML解析的三种范式对比

针对不同场景,解析工具的选择直接影响效率与稳定性:

工具适用场景性能基准鲁棒性
BeautifulSoup结构简单、容错要求高中(1.2ms/页)高
lxml性能敏感型采集高(0.3ms/页)中
pyqueryjQuery语法偏好者中(0.8ms/页)中

实际项目中,我们推荐混合使用策略:先用lxml快速定位主容器,再用BeautifulSoup处理局部嵌套结构。例如抓取商品详情页时:

from lxml import html as lh
from bs4 import BeautifulSoup
tree = lh.fromstring(resp.text)
# 快速定位商品列表容器
products = tree.xpath('//div[@id="product-list"]/ul/li')
for li in products:
    # 局部用BeautifulSoup处理复杂嵌套
    soup = BeautifulSoup(lh.tostring(li), 'lxml')
    name = soup.select_one('.name').get_text(strip=True)
    price = soup.select_one('.price span').get_text()

此方案兼顾速度与容错,避免因单个节点缺失导致整个列表解析失败。

调试必备:requests的hook机制

通过hooks参数可注入请求/响应处理逻辑,实现自动重试、日志记录等:

def log_response(response, *args, **kwargs):
    print(f"响应状态: {response.status_code}, URL: {response.url}")
session = requests.Session()
session.hooks['response'] = log_response
# 所有请求自动触发日志记录

高级伪装:TLS指纹伪造

部分网站通过TLS指纹识别爬虫。可使用httpx库配合tls-client模块模拟浏览器指纹:

import tls_client
session = tls_client.Session(client_identifier="chrome_120")
resp = session.get("https://example.com")

常见指纹特征包括:cipher suites、TLS extensions、signature algorithms等,需结合逆向工具(如mitmproxy)分析目标站点要求。

第二章:核心工具链与动态页面处理

2.1 Selenium与Playwright的技术演进

Selenium曾是动态页面处理的唯一选择,但其启动慢、资源占用高。Playwright作为后起之秀,支持多浏览器内核(Chromium/Firefox/WebKit),且提供原生API支持浏览器上下文隔离与自动化测试集成。

在采集某招聘网站时,发现其岗位列表通过WebSocket推送实时更新。Selenium需依赖浏览器控制台日志捕获,而Playwright可直接监听网络事件:

with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    context = browser.new_context()
    page = context.new_page()
    # 监听WebSocket消息
    page.on("websocket", lambda ws: print(f"WS: {ws.url}"))
    page.goto("https://example.com/jobs")
    page.wait_for_selector(".job-card")

特别注意:Playwright的wait_for_selector默认等待30秒,需根据实际加载时间调整,避免无效等待。建议配合page.evaluate注入性能监控:

page.evaluate("""
    performance.mark('dom-ready');
    document.addEventListener('DOMContentLoaded', () => {
        performance.measure('dom-load', 'dom-ready');
    });
""")

2.2 无头浏览器优化技巧

为提升采集效率,需对浏览器实例进行精细化控制:

  • 禁用图片/样式:减少30%加载时间
  • 拦截恶意脚本:防止页面卡死
  • 预设Cookie池:绕过登录验证

配置示例:

from playwright.sync_api import sync_playwright
with sync_playwright() as p:
    browser = p.chromium.launch(
        headless=True,
        args=[
            '--disable-images',
            '--disable-extensions',
            '--disable-javascript',  # 谨慎使用
            '--blink-settings=imagesEnabled=false'
        ]
    )
    context = browser.new_context(
        viewport={'width': 1920, 'height': 1080}
    )
    # 预置Cookie
    context.add_cookies([
        {'name': 'session_id', 'value': 'xxx', 'domain': 'example.com'}
    ])
2.3 抓包分析实战:如何定位AJAX请求?

当页面内容通过AJAX加载时,需通过浏览器开发者工具定位真实数据接口:

  1. 打开Network标签页,过滤XHR请求
  2. 点击页面加载按钮,观察请求列表
  3. 检查Request Headers中的X-Requested-With: XMLHttpRequest
  4. 验证Response内容是否为目标数据

某电商网站的搜索接口特征:

  • URL:https://search.example.com/api/v2/products
  • Method:POST
  • Body参数:{q: "手机", page: 1, sort: "sales"}
  • 需携带Authorization: Bearer xxx签名

通过逆向分析发现,签名由timestamp + secret_key生成MD5值。解决方案:

import hashlib
import time
timestamp = str(int(time.time()))
secret_key = "xxx"
sign = hashlib.md5(f"{timestamp}{secret_key}".encode()).hexdigest()
payload = {
    'q': '手机',
    'page': 1,
    'sort': 'sales',
    'timestamp': timestamp,
    'sign': sign
}

第三章:反爬机制对抗策略

3.1 验证码识别的工程化方案

常见验证码类型及应对策略:

类型识别方案成功率成本
数字字母Tesseract OCR95%免费
滑动拼图OpenCV模板匹配85%免费
点选文字深度学习模型78%¥200/万次

滑动拼图识别流程:

  1. 截取完整背景图与带缺口图
  2. 边缘检测定位缺口轮廓
  3. 计算缺口中心坐标
  4. 生成平滑拖动轨迹(模拟人类行为)

轨迹生成算法(核心代码):

def generate_trace(distance):
    """生成符合人类行为的拖动轨迹"""
    trace = []
    current = 0
    mid = distance * 0.75
    t = 0.2
    v = 0
    while current < distance:
        if current < mid:
            a = 2  # 加速度
        else:
            a = -3  # 减速度
        v0 = v
        v = v0 + a * t
        move = v0 * t + 0.5 * a * t * t
        current += move
        trace.append(round(move, 2))
    # 微调:回退+前进模拟真实行为
    trace.extend([-2, 1, -1, 0.5, 0])
    return trace

使用Selenium执行拖动:

from selenium.webdriver.common.action_chains import ActionChains
slider = driver.find_element(By.ID, "slide-btn")
actions = ActionChains(driver)
actions.click_and_hold(slider)
for x in trace:
    actions.move_by_offset(x, 0)
    time.sleep(0.05)
actions.release().perform()

3.2 JS加密参数破解全流程

以某新闻平台的sign参数为例,其生成逻辑藏在压缩后的JS中:

  1. 提取加密函数源码(通过开发者工具Sources面板)
  2. 使用Node.js环境解密(避免Python环境兼容问题)
  3. 通过py_mini_racer在Python中调用

Node.js解密脚本(save_sign.js):

const crypto = require('crypto');
function getSign(data) {
    const secret = "xxx";
    const hash = crypto.createHash('md5');
    hash.update(data + secret);
    return hash.digest('hex');
}
module.exports = { getSign };

Python调用方式:

from py_mini_racer import py_mini_racer
ctx = py_mini_racer.MiniRacer()
ctx.eval(open('save_sign.js').read())
sign = ctx.eval(f'getSign("{timestamp}")')
print(sign)  # 输出32位MD5值

注意事项:

  • 避免频繁创建/销毁JS上下文(性能损耗大)
  • 对复杂加密逻辑,建议使用Node.js独立服务(Flask+gunicorn部署)

智能限流策略

使用令牌桶算法实现动态限流:

import time
import threading
class TokenBucket:
    def __init__(self, rate=1.0, capacity=5):
        self.rate = rate  # 令牌生成速率/秒
        self.capacity = capacity
        self.tokens = capacity
        self.last_update = time.time()
        self.lock = threading.Lock()
    def consume(self, tokens=1):
        with self.lock:
            now = time.time()
            self.tokens = min(self.capacity,
                self.tokens + (now - self.last_update) * self.rate)
            self.last_update = now
            if self.tokens >= tokens:
                self.tokens -= tokens
                return True
            return False

集成到requests中:

bucket = TokenBucket(rate=2.0, capacity=5)
def rate_limited_get(url):
    while not bucket.consume():
        time.sleep(0.1)
    return requests.get(url, timeout=10)

代理IP池高可用架构

代理池需包含三大模块:

  1. 采集:爬取免费代理网站(需反爬)
  2. 验证:并发测试代理可用性(超时+状态码)
  3. 调度:优先使用高存活率代理

验证脚本示例:

def validate_proxy(proxy):
    try:
        resp = requests.get(
            'https://httpbin.org/ip',
            proxies={'http': proxy, 'https': proxy},
            timeout=5
        )
        return resp.status_code == 200
    except:
        return False

调度策略:维护代理权重表,存活率>95%的代理权重+2,连续失败3次权重-1

第四章:高阶架构与工程实践

4.1 Scrapy框架深度优化

Scrapy默认配置不适合大规模采集,需进行以下优化:

  • 中间件优化:自定义Downloader Middleware实现IP轮换
  • 去重策略:替换DUPEFILTER_CLASS为Redis去重
  • 并发控制:根据目标站点响应速度动态调整CONCURRENT_REQUESTS

IP轮换中间件示例:

import random
class ProxyMiddleware:
    def process_request(self, request, spider):
        proxy = random.choice(spider.settings['PROXY_LIST'])
        request.meta['proxy'] = proxy

Redis去重配置:

DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
SCHEDULER_PERSIST = True
REDIS_URL = 'redis://user:pass@localhost:6379'

4.2 分布式爬虫架构设计

当单机性能达到瓶颈时,需采用分布式方案:

任务队列

使用RabbitMQ/Kafka管理URL队列,支持优先级调度

节点协调

ZooKeeper管理爬虫节点状态,自动故障转移

数据管道

Kafka+ClickHouse实现实时数据写入,TPS>10K

典型架构图:

客户端 → [任务调度中心] → [爬虫节点集群] → [消息队列] → [数据存储]

节点故障检测机制:

  1. 心跳包:每30秒发送存活信号
  2. 超时判定:90秒无响应标记为失效
  3. 任务重分配:失效节点任务自动迁移
4.3 增量爬取策略设计

为避免重复采集,需设计增量机制:

  1. URL指纹:对URL进行MD5哈希存储
  2. 内容指纹:使用SimHash算法计算页面相似度
  3. 时间窗口:仅采集最近7天更新内容

SimHash实现要点:

  • 分词后计算TF-IDF权重
  • 哈希向量取+1/-1
  • 海明距离<3视为重复

示例代码:

from simhash import Simhash
def get_simhash(text):
    return Simhash(text, f=64).value
url1 = "https://example.com/news/123"
url2 = "https://example.com/news/123?from=home"
sim1 = get_simhash(url1)
sim2 = get_simhash(url2)
distance = bin(sim1 ^ sim2).count('1')
if distance < 3:
    print("重复URL")

第五章:实战项目复盘

5.1 电商价格监控系统

需求:监控1000+SKU价格变化,每30分钟更新

架构:

  • 数据源:京东/天猫/拼多多API + 网页爬取
  • 存储:MongoDB存储历史数据,Redis缓存实时价格
  • 告警:价格波动>10%触发企业微信通知

核心代码:

import redis
import json
r = redis.Redis(host='localhost', port=6379, db=0)
def update_price(sku_id, new_price):
    old_price = r.get(f"price:{sku_id}")
    if old_price and abs(new_price - float(old_price)) / float(old_price) > 0.1:
        send_alert(sku_id, old_price, new_price)
    r.set(f"price:{sku_id}", new_price, ex=3600)

实际效果:单节点采集1200商品/分钟,准确率99.2%

5.2 社交舆情分析平台

挑战:微博评论量级大、反爬严格

解决方案:

  1. 使用Playwright模拟登录(Cookie持久化)
  2. 评论分页采用“时间戳滚动法”
  3. 评论内容用BERT模型进行情感分析

时间戳滚动策略:

last_time = int(time.time() * 1000)
while True:
    resp = get_comments(max_time=last_time)
    if not resp['comments']:
        break
    for c in resp['comments']:
        last_time = min(last_time, c['time'])
    # 保存数据...

情感分析结果示例:

关键词正面中性负面
“流畅”0.920.060.02
“卡顿”0.030.150.82

Docker化部署实践

Dockerfile示例:

FROM python:3.11-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY . .
CMD ["scrapy", "crawl", "spider_name"]

docker-compose.yml关键配置:

services:
  spider:
    build: .
    volumes:
      - ./data:/app/data
    environment:
      - REDIS_URL=redis://redis:6379
    restart: unless-stopped

数据清洗流水线

采用Apache Beam构建统一ETL流程:

  1. 抽取:从MongoDB读取原始数据
  2. 转换:正则清洗、空值处理、格式标准化
  3. 加载:写入ClickHouse或Elasticsearch

清洗规则示例:

  • 价格字段:提取数字部分,单位统一为“元”
  • 时间字段:转换为ISO 8601格式
  • 文本字段:去除HTML标签、特殊符号

第六章:高频问题解答

6.1 常见错误码解析

采集过程中高频错误及解决方案:

错误码可能原因解决方案
403User-Agent被封轮换UA池+TLS指纹伪造
429请求频率过高启用令牌桶限流
503服务端过载增加重试延迟(指数退避)
10061代理IP失效代理池自动剔除失效IP

重试策略(指数退避):

def get_with_retry(url, max_retries=5):
    for i in range(max_retries):
        try:
            return requests.get(url, timeout=10)
        except requests.exceptions.RequestException:
            if i == max_retries - 1:
                raise
            time.sleep(2 ** i)  # 1s, 2s, 4s...

6.2 法律合规要点

根据《网络安全法》及《数据安全法》,爬虫开发需注意:

  1. robots.txt合规:检查目标站点robots.txt限制
  2. 访问频率合理:避免造成服务器过载
  3. 数据使用授权:敏感数据需获得用户授权
  4. 跨境传输限制:涉及个人信息需安全评估

特别提醒:采集政务/医疗/金融类网站需额外申请许可,建议使用官方开放API。

6.3 学习路径建议

推荐学习顺序:

  1. 掌握HTTP协议基础(状态码、请求方法、Cookie机制)
  2. 熟悉requests库基础操作
  3. 学习HTML/CSS选择器
  4. 动手实现小型采集脚本(如豆瓣图书Top250)
  5. 研究反爬机制(验证码、JS加密)
  6. 构建完整采集系统(Scrapy+Redis)

关键能力培养:

  • 逆向分析:阅读JS源码定位数据接口
  • 架构设计:根据业务规模选择技术栈
  • 异常处理:构建健壮的错误恢复机制