欢迎访问 python爬虫小王子|专注可落地的爬虫技术

python爬虫小王子

从零构建可落地的爬虫解决方案|详解反爬机制|解析法律边界|分享真实行业案例|持续更新高价值技术内容

入门指南 常用工具

爬虫入门:构建坚实的技术地基

在进入复杂反爬对抗前,必须夯实基础能力。很多学习者急于求成,跳过 HTTP 协议、HTML 结构、DOM 解析等核心环节,导致后期调试困难、效率低下,甚至误入歧途。本部分将系统梳理 Python 爬虫必备的三大支柱知识体系,结合真实代码示例,帮助您建立完整的认知框架。

HTTP 协议:数据传输的底层逻辑

所有网页数据都通过 HTTP(S) 协议传输。理解请求与响应的完整生命周期,是编写稳定爬虫的前提。以浏览器访问 https://www.xservx.com/article/1 为例,其过程可分解为以下关键环节:

以 requests 库为例,一个标准 GET 请求应包含必要 Headers:

import requests
url = "https://www.xservx.com/article/1"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,**", handle_request)
    page.on("response", lambda resp:
        print("API Response:", resp.url) if "api/news" in resp.url else None)
    page.goto("https://example.com/news")
    page.wait_for_timeout(3000)  # 等待动态加载
    browser.close()

反爬对抗:识别与突破的实战策略

反爬不是单一技术点,而是多维度的攻防体系。我们按常见策略分类解析应对方案,避免盲目尝试。

请求头检测:伪装真实用户

服务器常检查 User-Agent、Accept-Language、Referer 等字段。简单伪装示例:

headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.3 Safari/605.1.15",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Accept-Language": "zh-CN,zh-Hans;q=0.9",
    "Accept-Encoding": "gzip, deflate, br",
    "Connection": "keep-alive",
    "Referer": "https://www.google.com/search?q=python爬虫",
    "Upgrade-Insecure-Requests": "1"
}

⚠️ 注意:不要使用常见 UA 列表中的“热门 UA”,应模拟真实用户分布(如 Mac + Safari + 中文环境)。

IP 频率限制:IP 轮换与动态代理

常见策略:同一 IP 短时请求超过阈值(如 100 次/分钟)即封禁。解决方案:

代理配置示例:

proxies = {
    "http": "http://user:pass@proxy.example.com:8080",
    "https": "http://user:pass@proxy.example.com:8080"
}
response = requests.get(url, headers=headers, proxies=proxies, timeout=10)

Cookie 与 Session 管理

动态生成的 Cookie(如 __cf_bm、_gid)常用于反爬。应对方法:

示例:Selenium 登录后提取 Cookie 并用于 requests:

from selenium import webdriver
import requests
driver = webdriver.Chrome()
driver.get("https://example.com/login")
# 执行登录操作...
cookies = driver.get_cookies()
driver.quit()
session = requests.Session()
for cookie in cookies:
    session.cookies.set(cookie["name"], cookie["value"], domain=cookie["domain"])
# 使用 session 发起请求
resp = session.get("https://example.com/user/profile")

JS 混淆与加密参数

高频出现于登录、搜索、分页参数(如 sign、timestamp)。破解路径:

  1. 定位加密函数:在 DevTools 的 Sources 中搜索关键词(如 sign、encrypt)
  2. 下断点调试:在加密函数入口设断点,观察输入输出
  3. 提取加密逻辑:将 JS 加密函数改写为 Python 实现

示例:某站搜索参数 sign 由 md5(q + salt + ts) 生成

import hashlib
import time
def generate_sign(query):
    salt = "python爬虫小王子"
    ts = str(int(time.time()))
    raw = query + salt + ts
    sign = hashlib.md5(raw.encode()).hexdigest()
    return sign, ts
query = "Python教程"
sign, ts = generate_sign(query)
print(f"sign={sign}&ts={ts}")

行为轨迹检测:模拟人工操作

高级反爬会监测鼠标移动轨迹、滚动速度、键盘敲击等。应对策略:

真实案例:从电商到学术数据库的全流程拆解

以下案例均来自生产环境,已脱敏处理,保留核心逻辑与技巧。

案例一:某电商商品信息抓取(含登录)

目标:抓取「电脑数码」类目下所有商品的标题、价格、评价数、店铺名

难点:需登录才能查看价格;商品列表分页参数加密;价格字段通过 JS 动态渲染

解决方案:

  1. 使用 Selenium 登录,保存 Cookie
  2. 分析分页接口:/api/products?cat=computer&page=1&sign=xxx,逆向 sign 生成逻辑
  3. 对每个商品页,用 requests 请求详情页 API:/api/product/detail?id=123
  4. 解析返回 JSON 提取字段

核心代码片段:

# 登录后保存 Cookie
session = requests.Session()
session.cookies.update(cookies_from_selenium)
# 请求分页列表
for page in range(1, 51):
    sign, ts = generate_sign(f"computer{page}")
    url = f"https://api.example.com/products?cat=computer&page={page}&sign={sign}&ts={ts}"
    resp = session.get(url)
    products = resp.json()["data"]["list"]
    for p in products:
        # 请求详情页
        detail_resp = session.get(f"https://api.example.com/product/detail?id={p['id']}")
        detail = detail_resp.json()
        print(f"{detail['title']} | ¥{detail['price']} | 评价 {detail['comments']} 条 | 店铺:{detail['shop']}")

案例二:学术论文数据库(知网/万方)的文献信息提取

目标:按关键词检索,提取题名、作者、来源、摘要、引用数

难点:反爬严格(滑块验证、IP 封禁);摘要内容通过 JS 加载;需模拟检索行为

解决方案:

  • 使用代理池 + 请求间隔 5~15 秒
  • 通过 DevTools 找到隐藏的 API:/search?kw=Python爬虫&year=2020
  • 对每篇论文,请求详情页:/paper/detail?id=CJFDXXX
  • 用正则提取摘要:re.search(r'"abstract":"(.*?)"', resp.text)

数据存储:导出为 CSV + SQLite 双备份,便于后续分析。

案例三:社交媒体评论抓取(含情感分析)

目标:抓取某视频下前 1000 条评论,用于舆情分析

难点:评论分页采用游标(cursor);评论内容加密;需登录查看全部评论

突破点:

  1. 分析请求:/comments?video_id=123&cursor=abc,返回加密 JSON
  2. 通过 JS 逆向找到解密密钥(如 XOR 0x5A)
  3. 用 Playwright 模拟滚动加载更多评论(每次 20 条)
  4. 对评论文本进行中文分词与情感极性判断(使用 SnowNLP)

高频答疑:新手最常问的 15 个问题

Q1:爬虫能爬取微信公众号文章吗?

A:直接爬取登录态后的内容存在极高法律风险。微信对爬虫检测严格,且公众号内容受著作权保护。建议:

  • 通过微信官方 API(如公众号菜单栏的「内容合作」入口)获取授权
  • 使用微信读书、知乎等平台的官方开放平台
  • 仅抓取已公开的 RSS 订阅源(需遵守其协议)
Q2:如何绕过滑块验证码?

A:不建议绕过滑块验证码——这属于主动规避安全措施,可能构成违法。合规做法:

  • 联系网站管理员申请 API 授权
  • 使用官方开放平台(如百度 AI、阿里云开放平台)购买数据服务
  • 人工标注 + 半自动辅助(如自动识别 + 人工复核)
Q3:爬取数据后能存入数据库吗?

A:可以,但需注意:

  • 仅存储必要字段(如标题、时间、来源链接),避免存储全文(除非获得授权)
  • 对个人数据进行脱敏处理(如隐藏邮箱中的用户名)
  • 在数据库中添加来源声明与爬取时间戳
  • 定期清理过期数据,遵循「最小必要」原则
Q4:Scrapy 和 requests 该如何选?

A:按场景选择:

维度requestsScrapy
适用规模小规模(<1000页)中大型(>1万页)
开发复杂度低中
异步支持需配合 asyncio内置 Twisted
扩展性需手动编码插件化(中间件/管道)
Q5:爬虫代码如何防止被他人盗用?

A:可采取以下措施:

  • 代码混淆(如使用 pyminifier)
  • 关键逻辑移至后端服务(前端只调用 API)
  • 添加水印(在响应头中添加自定义字段 X-Source: python爬虫小王子)
  • 使用商业加密工具(如 PyInstaller + 加壳)

资源推荐:提升效率的工具与学习路径

开发工具

学习路径

  1. 入门:requests + BeautifulSoup + 正则表达式
  2. 进阶:Selenium + Scrapy 基础架构
  3. 高阶:JS 逆向 + 代理池 + 数据库设计 + 法律合规

优质资源