Python爬虫AJAX与JS|深度技术实战与实战指南

⚡

核心价值定位

在当今Web应用日益动态化的趋势下,大量网站采用JavaScript动态渲染、AJAX异步加载等技术手段提升用户体验。传统基于静态HTML解析的Python爬虫技术面临严重失效风险——数据藏于网络请求之后、隐藏于前端脚本之中、动态生成于用户交互之后。本页面系统梳理Python爬虫在AJAX与JavaScript环境下的核心应对策略,涵盖requests+Session模拟、Selenium浏览器自动化、Playwright现代控制、Pyppeteer无头浏览器、JS逆向破解等多维技术路径。

我们不仅讲解技术原理,更聚焦于真实业务场景:电商商品动态抓取、社交媒体评论采集、新闻平台实时内容聚合、API接口逆向分析等。每个技术模块均配备可运行的完整代码示例、常见报错解析、性能调优技巧与反爬规避方案。无论您是初学者构建知识体系,还是资深开发者解决生产环境问题,本指南均提供可落地的解决方案。

⚙️

知识体系全景图

本指南构建了完整的Python爬虫动态数据采集技术栈,包含四大核心模块:

  • •AJAX请求识别与复现:通过浏览器开发者工具定位XHR请求,分析Headers、Payload、Cookies、Token生成逻辑,使用requests库精准模拟请求
  • •JavaScript动态渲染处理:掌握Selenium、Playwright、Pyppeteer等浏览器自动化工具,实现页面完全渲染后数据提取
  • •反爬机制对抗策略:针对IP封锁、滑块验证、加密参数、动态Class名、字体反爬等常见手段,提供多层绕过方案
  • •工程化部署实践:构建分布式爬虫架构、代理IP池管理、异常重试机制、数据持久化与监控告警系统

全篇采用“原理→实战→避坑→优化”四步教学法,确保知识可理解、可操作、可迁移。所有代码示例均通过最新版Python 3.11验证,兼容主流操作系统(Windows/macOS/Linux),并严格遵循PEP8编码规范。

〔〕

读者定位与收益

本指南面向以下技术人群:

  1. 具备基础Python编程能力,希望突破静态页面限制的开发者
  2. 从事数据采集、舆情监控、竞品分析的工程师与研究员
  3. 需要理解Web动态技术原理的前端与全栈工程师
  4. 高校计算机专业学生,希望掌握生产级爬虫工程实践

完成本指南学习后,您将能够:

  • 独立完成95%以上动态网站的数据采集任务
  • 快速识别并解析加密参数生成逻辑
  • 设计高并发、低封禁率的稳定爬虫系统
  • 理解现代Web应用架构,提升全栈技术视野

特别说明:本指南严格遵守《网络安全法》及网站robots.txt协议,所有技术仅用于合法授权的数据采集场景,禁止用于未授权的商业用途或破坏性操作。

基础原理:动态数据生成机制

静态页面 vs 动态页面

传统Python爬虫依赖直接请求URL获取HTML源码,通过正则、BeautifulSoup等工具提取内容。这种方式在面对静态页面(如维基百科、部分博客)时高效可靠。但现代Web应用普遍采用前后端分离架构:

  • 前端框架(React/Vue/Angular)在浏览器端渲染页面
  • 数据通过AJAX请求从后端API动态获取
  • 关键内容可能由JavaScript实时生成或加密处理

当您在浏览器中右键“查看源代码”时,看到的是初始HTML骨架,而实际展示的内容往往由JavaScript在运行时动态注入。此时直接请求URL无法获取目标数据,必须模拟浏览器行为或逆向分析AJAX请求。

浏览器开发者工具实战定位

精准定位AJAX请求是动态爬虫的第一步。以Chrome浏览器为例:

  1. 打开目标网站,按F12进入开发者工具
  2. 切换至Network标签页,勾选“Preserve log”防止刷新丢失记录
  3. 触发页面动作(如滚动加载、点击加载更多)
  4. 在过滤框输入“XHR”,筛选出所有异步请求
  5. 点击目标请求,查看Headers、Payload、Response

关键分析点:

  • Request URL:请求地址(可能含动态参数)
  • Request Method:GET/POST等(决定参数传递方式)
  • Request Headers:需重点保留Cookie、User-Agent、Referer、X-Requested-With
  • Query String Parameters:GET参数(URL问号后内容)
  • Form Data:POST参数(需分析参数生成逻辑)
  • Response:返回的JSON/HTML片段(目标数据所在位置)

示例:某新闻网站“加载更多”按钮点击后,Network中出现新请求:
https://news.example.com/api/getMore?offset=20&limit=10,返回JSON格式数据,包含标题、摘要、发布时间等字段。

Session与Cookies管理

许多网站通过Session维持用户状态,单次请求需携带有效Cookies。使用requests.Session可自动管理Cookies:

import requests
session = requests.Session()
# 访问首页获取初始Cookies
session.get("https://example.com")
# 模拟登录获取认证Cookies
login_data = {"username": "user", "password": "pass"}
session.post("https://example.com/login", data=login_data)
# 携带认证状态访问受保护资源
response = session.get("https://example.com/profile")
print(response.json())

关键技巧:

  • 使用Session自动保存Cookies,避免重复请求
  • 检查Response中的Set-Cookie头,确认登录是否成功
  • 对需要验证码的网站,可先下载验证码图片并手动/自动识别
  • 某些网站使用JWT Token,需从响应中解析并加入Authorization头

AJAX请求抓取实战

GET请求模拟

某天气网站API请求:
https://api.weather.com/v1/forecast?city=beijing&units=m

import requests
url = "https://api.weather.com/v1/forecast"
params = {
    "city": "beijing",
    "units": "m"
}
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Referer": "https://www.weather.com/",
    "X-Requested-With": "XMLHttpRequest"
}
response = requests.get(url, params=params, headers=headers)
data = response.json()
print("当前温度:", data["current"]["temperature"])
print("未来7天预报:", [day["temp"] for day in data["forecast"]])

注意事项:

  • 必须保留Referer头,否则部分网站返回403
  • User-Agent需使用真实浏览器标识
  • 某些API要求Accept头为application/json

POST请求模拟

某搜索网站分页请求:
https://search.example.com/api/query(POST)

import requests
url = "https://search.example.com/api/query"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
    "Content-Type": "application/json"
}
payload = {
    "keyword": "Python爬虫",
    "page": 2,
    "size": 20
}
response = requests.post(url, json=payload, headers=headers)
results = response.json()["data"]
for item in results:
    print(f"标题: {item['title']}, 链接: {item['url']}")

关键点:

  • 使用json=payload自动序列化为JSON并设置Content-Type
  • 若网站要求form-data格式,使用data=payload(字典形式)
  • 注意分页参数offset/page与size的对应关系

参数加密类型解析

动态网站常对请求参数进行加密,常见类型包括:

  • 时间戳+随机数:如timestamp=1717020800&nonce=8f3a2b
  • 签名算法:如sign=md5(secret+timestamp+data)
  • 加密Cookie:如__session=base64(encrypted)
  • 字体反爬:通过CSS映射加密字符

实战案例:某视频网站sign参数破解

观察请求:
https://api.video.com/v1/video/detail?aid=123&sign=abc123

通过JS逆向定位sign生成函数:

function getSign(aid) {
    const timestamp = Date.now();
    const secret = "YOUR_SECRET_KEY";
    const data = `${aid}${timestamp}${secret}`;
    return md5(data);
}

Python实现:

import time
import hashlib
def get_sign(aid):
    timestamp = str(int(time.time() * 1000))
    secret = "YOUR_SECRET_KEY"
    data = f"{aid}{timestamp}{secret}"
    sign = hashlib.md5(data.encode()).hexdigest()
    return sign, timestamp
aid = "123"
sign, timestamp = get_sign(aid)
url = f"https://api.video.com/v1/video/detail?aid={aid}&sign={sign}&t={timestamp}"
print(url)

高级技巧:

  • 使用PyExecJS调用JS函数,避免手写加密逻辑
  • 分析混淆JS代码时,使用Chrome断点调试定位关键函数
  • 对动态JS加载,可使用fetch获取JS源码再分析

分页参数规律分析

分页是动态网站高频操作,常见分页机制:

  • offset-based分页:/api/list?offset=20&limit=10(偏移量)
  • page-based分页:/api/list?page=3&size=10(页码)
  • 游标分页:/api/list?cursor=abc123(基于ID或时间戳)
  • 无限滚动:滚动到底部自动加载(需模拟滚动事件)

实战:处理游标分页

某社交平台API:
https://api.social.com/v1/comments?max_id=last_comment_id

import requests
def fetch_comments(max_id=None):
    url = "https://api.social.com/v1/comments"
    params = {"max_id": max_id} if max_id else {}
    headers = {"User-Agent": "Mozilla/5.0"}
    response = requests.get(url, params=params, headers=headers)
    data = response.json()
    for comment in data["comments"]:
        print(f"{comment['user']}: {comment['text']}")
    # 检查是否有下一页
    if data.get("has_more"):
        next_max_id = data["comments"][-1]["id"]
        return next_max_id
    return None
# 首次请求
max_id = None
while True:
    max_id = fetch_comments(max_id)
    if not max_id:
        break
    print(f"继续加载下一页... max_id={max_id}")

注意事项:

  • 记录最后一条数据的ID作为游标
  • 防止重复抓取(建立ID去重机制)
  • 设置合理频率避免触发限流

常见反爬与应对策略

反爬手段 特征表现 解决方案
请求频率限制 返回429 Too Many Requests 添加随机延时、使用代理IP池、控制QPS
IP封禁 返回403 Forbidden 动态代理轮换、模拟真实用户行为
参数加密 请求含sign/token参数 JS逆向破解加密逻辑
动态Class名 HTML中class为随机字符串 使用CSS选择器+属性匹配、JS执行后提取
字体反爬 文字显示为方框或乱码 下载font文件、解析Unicode映射

JavaScript动态渲染处理

Selenium核心用法

Selenium是Python最成熟的浏览器自动化库,支持Chrome/Firefox等主流浏览器:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 初始化浏览器驱动
options = webdriver.ChromeOptions()
options.add_argument("--headless")  # 无头模式
options.add_argument("--disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(options=options)
try:
    # 访问页面
    driver.get("https://example.com")
    # 等待元素加载完成(显式等待)
    wait = WebDriverWait(driver, 10)
    element = wait.until(EC.presence_of_element_located(
        (By.CSS_SELECTOR, ".dynamic-content")
    ))
    # 获取渲染后的内容
    html = driver.page_source
    print("页面内容长度:", len(html))
    # 提取数据
    titles = driver.find_elements(By.CSS_SELECTOR, "h2.title")
    for title in titles:
        print("标题:", title.text)
finally:
    driver.quit()

关键技巧:

  • 使用WebDriverWait实现精准等待,避免硬等待
  • 通过execute_script执行JS操作(如滚动、修改属性)
  • 处理弹窗、iframe切换等复杂场景

模拟用户交互

from selenium.webdriver.common.action_chains import ActionChains
# 滚动到底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
# 模拟鼠标悬停
hover_element = driver.find_element(By.CSS_SELECTOR, ".menu-item")
ActionChains(driver).move_to_element(hover_element).perform()
# 点击元素
button = driver.find_element(By.ID, "load-more")
button.click()
# 输入文本
search_box = driver.find_element(By.NAME, "q")
search_box.send_keys("Python爬虫")
search_box.submit()

Playwright优势解析

Playwright是微软推出的现代化浏览器自动化工具,相比Selenium具有:

  • 原生支持多浏览器(Chromium/Firefox/Safari)
  • 内置等待机制,无需显式等待
  • 支持并行测试,性能更优
  • 提供强大的网络拦截与 mocking能力
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
    # 启动浏览器
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()
    # 访问页面
    page.goto("https://example.com", wait_until="networkidle")
    # 等待元素出现
    page.wait_for_selector(".dynamic-content")
    # 获取内容
    content = page.content()
    print("页面内容:", content[:200])
    # 提取数据
    titles = page.eval_on_selector("h2.title", "els => els.map(el => el.innerText)")
    print("标题列表:", titles)
    browser.close()

网络拦截示例:

def handle_request(route, request):
    if request.resource_type == "xhr":
        print("拦截到AJAX请求:", request.url)
    route.continue_()
page.route("**/*", handle_request)

优势场景:

  • 需要同时操作多个浏览器上下文
  • 需精确控制网络请求/响应
  • 要求更高稳定性与性能

Pyppeteer实战

Pyppeteer是Puppeteer的Python实现,专为Node.js Puppeteer设计,适合复杂JS逆向:

import asyncio
from pyppeteer import launch
async def main():
    browser = await launch(headless=True)
    page = await browser.newPage()
    # 访问页面
    await page.goto("https://example.com", {"waitUntil": "networkidle2"})
    # 等待元素
    await page.waitForSelector(".dynamic-content")
    # 获取内容
    content = await page.content()
    print("页面内容:", content[:200])
    # 提取数据
    titles = await page.evaluate("""
        () => Array.from(document.querySelectorAll('h2.title'))
            .map(el => el.innerText)
    """)
    print("标题列表:", titles)
    await browser.close()
asyncio.run(main())

高级技巧:

  • 注入自定义JS脚本修改页面行为
  • 拦截并修改网络请求
  • 处理CSP策略与证书错误
# 注入脚本修改navigator.webdriver
await page.evaluateOnNewDocument("""
    Object.defineProperty(navigator, 'webdriver', {
        get: () => undefined
    })
""")

常见问题与解决方案

问题现象 原因分析 解决方案
元素未加载完成 页面JS执行未完成 使用显式等待(WebDriverWait)
元素被遮挡无法点击 悬浮窗/广告覆盖 关闭广告拦截插件、滚动页面
Cookie未生效 跨域/Domain不匹配 手动添加Cookie、访问父域名
检测到自动化 navigator.webdriver=true 注入JS移除自动化标识
渲染后内容为空 SPA应用需等待异步请求 等待networkidle状态

反爬机制对抗策略

IP封禁应对

网站通过IP频率限制、黑名单IP库实施封禁。解决方案:

  • 代理IP池:使用动态代理服务(如快代理、芝麻HTTP),按需获取新IP
  • 请求频率控制:添加随机延时(1-5秒),模拟人类操作节奏
  • 行为模拟:随机滚动、鼠标移动、点击等操作
  • 失败重试机制:检测429/403状态码,自动切换IP重试
import random
import time
import requests
def safe_request(url, max_retries=3):
    proxies_pool = [
        {"http": "http://ip1:port"},
        {"http": "http://ip2:port"}
    ]
    for attempt in range(max_retries):
        try:
            proxy = random.choice(proxies_pool)
            headers = {
                "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
            }
            response = requests.get(url, headers=headers, proxies=proxy, timeout=10)
            if response.status_code == 429:
                print(f"请求过快,切换IP (尝试{attempt+1})")
                time.sleep(random.uniform(2, 5))
                continue
            return response
        except requests.exceptions.RequestException as e:
            print(f"请求失败: {e}")
            time.sleep(random.uniform(1, 3))
    return None

滑块验证破解

主流滑块验证(如极验、点触)需图形识别+轨迹模拟:

  1. 下载背景图与滑块图
  2. 使用OpenCV模板匹配计算缺口位置
  3. 生成平滑滑动轨迹(先加速后减速)
  4. 模拟鼠标操作完成验证
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import cv2
import numpy as np
# 截图缺口图
driver.save_screenshot("screenshot.png")
slider = driver.find_element(By.ID, "slider")
location = slider.location
size = slider.size
# 裁剪滑块区域
img = cv2.imread("screenshot.png")
x, y = location["x"], location["y"]
w, h = size["width"], size["height"]
gap_img = img[y:y+h, x:x+w]
# 计算缺口位置(简化版)
template = cv2.imread("slider_template.png")
result = cv2.matchTemplate(gap_img, template, cv2.TM_CCOEFF_NORMED)
_, max_val, _, max_loc = cv2.minMaxLoc(result)
distance = max_loc[0]  # 滑动距离
# 生成轨迹
track = []
current = 0
mid = distance * 4 / 5
t = 0.2
v = 0
while current < distance:
    if current < mid:
        a = 2
    else:
        a = -3
    v0 = v
    v = v0 + a * t
    move = v0 * t + 0.5 * a * t * t
    current += move
    track.append(round(move))
# 模拟操作
ActionChains(driver).click_and_hold(slider).perform()
for x in track:
    ActionChains(driver).move_by_offset(x, 0).perform()
ActionChains(driver).release().perform()

注意事项:

  • 轨迹需模拟人类操作(非匀速)
  • 添加随机扰动(±2像素)
  • 滑动后停留1-2秒再提交

字体反爬识别

某网站文字显示为方框,通过F12发现CSS中定义了自定义字体:

.icon {
    font-family: 'iconfont' !important;
    ...
}
.icon-home::before { content: "\e601"; }
.icon-user::before { content: "\e602"; }

解析步骤:

  1. 下载font文件(.ttf/.woff)
  2. 使用fontTools解析Unicode映射
  3. 建立字符映射表
from fontTools.ttLib import TTFont
# 下载字体文件
font = TTFont("iconfont.woff")
font.saveXML("iconfont.xml")
# 查看字符映射
cmap = font['cmap'].getCmap(3).cmap
print(cmap)  # {58881: 'glyph00001', ...}
# 建立映射表
char_map = {
    '\ue601': 'home',
    '\ue602': 'user',
    '\ue603': 'search'
}
# 替换文本
text = "icon-home icon-user"
for key, value in char_map.items():
    text = text.replace(key, value)
print(text)  # home user

自动化方案:

  • 使用pyppeteer截取字体渲染图
  • 调用OCR识别字符形状
  • 动态更新映射表

工具链与工程化实践

核心工具对比

工具 适用场景 优势 局限
requests 静态页面、API请求 轻量、高效、易上手 无法处理JS渲染
Selenium 通用动态页面 兼容性好、文档丰富 速度慢、资源占用高
Playwright 现代网站、复杂交互 性能优、API现代、多浏览器 学习曲线略陡
Pyppeteer JS逆向、Puppeteer迁移 与Node版同步、功能强 异步编程复杂
Scrapy 大规模分布式爬虫 异步高并发、架构完善 学习成本高、需结合Splash

项目工程化架构

典型爬虫项目目录结构:

spider_project/
├── config/               # 配置文件
│   ├── settings.py       # 全局配置
│   └── proxies.txt       # 代理IP池
├── data/                 # 数据存储
│   ├── raw/              # 原始数据
│   └── processed/        # 清洗后数据
├── logs/                 # 日志文件
├── spiders/              # 爬虫核心
│   ├── __init__.py
│   ├── base_spider.py    # 基础类
│   └── example_spider.py # 具体爬虫
├── utils/                # 工具函数
│   ├── request.py        # 请求封装
│   └── encrypt.py        # 加密处理
├── tests/                # 测试用例
├── requirements.txt      # 依赖列表
└── main.py               # 入口文件

关键模块说明:

  • base_spider.py:封装通用功能(重试、代理、日志)
  • request.py:统一请求入口(自动处理Cookie、Headers)
  • encrypt.py:加密参数生成逻辑
  • pipeline.py:数据持久化(JSON/MySQL/Elasticsearch)

数据存储方案

存储方式 适用场景 示例代码
JSON文件 小规模数据、临时存储 json.dump(data, open("data.json", "w"))
CSV 结构化数据、Excel兼容 pd.DataFrame(data).to_csv("data.csv", index=False)
MySQL 关系型数据、需查询 cursor.execute("INSERT INTO items VALUES (%s)", (title,))
Elasticsearch 全文检索、大数据量 es.index(index="items", body=data)

真实项目案例

电商商品动态抓取

某电商平台采用无限滚动+AJAX加载商品,关键步骤:

  1. 定位API:https://m.shop.com/api/products?category=xxx&offset=20
  2. 分析sign参数:通过JS逆向发现是md5(secret + timestamp + category)
  3. 模拟请求:构建完整请求头与参数
  4. 数据清洗:提取标题、价格、评论数、图片URL
import requests
import hashlib
import time
def get_sign(category):
    secret = "SHOP_SECRET_KEY"
    timestamp = str(int(time.time()))
    data = f"{secret}{timestamp}{category}"
    return hashlib.md5(data.encode()).hexdigest(), timestamp
def fetch_products(category):
    sign, timestamp = get_sign(category)
    url = f"https://m.shop.com/api/products?category={category}&sign={sign}&t={timestamp}"
    headers = {
        "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 14_0 like Mac OS X)",
        "Referer": "https://m.shop.com/"
    }
    response = requests.get(url, headers=headers)
    products = response.json()["data"]["products"]
    for product in products:
        yield {
            "title": product["title"],
            "price": product["price"],
            "comments": product["comments"],
            "image": product["image"]
        }
# 使用示例
for item in fetch_products("electronics"):
    print(f"{item['title']} - ¥{item['price']} ({item['comments']}条评论)")

社交媒体评论采集

某社交平台评论采用游标分页,需先登录获取Token:

  1. 使用Selenium模拟登录,获取Cookies
  2. 从Cookies中提取Token
  3. 构建评论API请求(携带Token)
  4. 解析JSON获取评论数据
from selenium import webdriver
import requests
# 模拟登录
driver = webdriver.Chrome()
driver.get("https://social.com/login")
# 手动输入账号密码...
cookies = {c["name"]: c["value"] for c in driver.get_cookies()}
driver.quit()
# 提取Token
token = cookies.get("auth_token")
# 评论API请求
url = "https://social.com/api/comments"
headers = {
    "Authorization": f"Bearer {token}",
    "User-Agent": "Mozilla/5.0"
}
def fetch_comments(max_id=None):
    params = {"max_id": max_id} if max_id else {}
    response = requests.get(url, headers=headers, params=params)
    data = response.json()
    for comment in data["comments"]:
        yield {
            "user": comment["user"]["name"],
            "text": comment["text"],
            "time": comment["time"]
        }
    if data.get("has_more"):
        yield from fetch_comments(data["comments"][-1]["id"])
# 获取前50条评论
for i, comment in enumerate(fetch_comments()):
    if i >= 50:
        break
    print(f"{comment['user']}: {comment['text'][:50]}...")

新闻平台实时监控

需求:实时监控某新闻网站新发文章,5分钟内抓取并入库

方案:使用Playwright监控页面变化

from playwright.sync_api import sync_playwright
import time
def monitor_news():
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True)
        page = browser.new_page()
        # 记录初始文章ID列表
        page.goto("https://news.example.com")
        page.wait_for_selector(".news-item")
        old_ids = page.eval_on_selector(
            ".news-item", "els => els.map(el => el.id)"
        )
        while True:
            # 每30秒刷新一次
            time.sleep(30)
            page.reload(wait_until="networkidle")
            new_ids = page.eval_on_selector(
                ".news-item", "els => els.map(el => el.id)"
            )
            # 检测新增文章
            added_ids = set(new_ids) - set(old_ids)
            if added_ids:
                print(f"发现{len(added_ids)}篇新文章!")
                for aid in added_ids:
                    content = page.eval_on_selector(
                        f"#{aid} .content", "el => el.innerText"
                    )
                    print(f"文章{aid}: {content[:100]}...")
            old_ids = new_ids
monitor_news()

优化建议:

  • 使用WebSocket实时监听页面变化
  • 添加邮件/钉钉告警通知
  • 将新文章存入数据库

网友还关心

常见问题解答

Q1:Python爬虫是否违法?
法律风险说明
爬虫本身不违法,但需遵守:
• 遵守网站robots.txt协议
• 不突破反爬措施(如绕过验证码可能违规)
• 不用于商业盗取(如电商比价需授权)
• 控制请求频率(避免造成服务器压力)
建议:重要项目咨询专业律师,使用官方API优先。
Q2:如何选择爬虫工具?
工具选型指南
• 简单静态页 → requests
• 动态但无JS加密 → Selenium
• 复杂交互/性能要求高 → Playwright
• 需JS逆向 → Pyppeteer
• 大规模分布式 → Scrapy+Splash
Q3:爬虫被封怎么办?
应急处理方案
1. 立即停止请求,降低频率
2. 检查Headers是否完整(User-Agent/Referer/Cookie)
3. 更换代理IP
4. 模拟真实用户行为(随机延时、鼠标移动)
5. 分析封禁规则(IP池轮换+请求间隔动态化)
Q4:如何处理验证码?
验证码解决方案
• 滑块验证:OpenCV缺口识别+轨迹模拟
• 点选验证:图像分割+坐标计算
• 文字验证:调用第三方API(如百度OCR)
• 字符识别:使用Tesseract+深度学习模型
注意:避免高频请求触发更复杂验证码

学习路径建议

  1. 基础阶段(1-2周)
    掌握HTML/CSS/JS基础,熟悉requests基本用法,能抓取静态页面
  2. 进阶阶段(2-3周)
    学习浏览器开发者工具,掌握Selenium基础,能处理简单动态页面
  3. 高阶阶段(持续学习)
    深入JS逆向、反爬对抗、分布式架构,参与开源项目实战

推荐资源:

  • MDN Web Docs(官方文档)
  • 《Python网络数据采集》(书)
  • GitHub开源爬虫项目(如Scrapy-Redis)
  • 技术社区(Stack Overflow、V2EX)