Python爬虫技巧教程

从零构建高可用网络数据采集系统|覆盖反爬对抗、代理池、分布式架构与法律合规实践|适合零基础到工程化落地

基础入门:爬虫原理与核心组件

网络爬虫本质是模拟浏览器行为、自动请求网页并提取结构化数据的程序。其工作流程包含四层逻辑:请求→响应→解析→存储。初学者常误以为爬虫=Requests+BeautifulSoup,实则现代爬虫系统需整合请求调度、反爬绕过、数据清洗与异常处理四大模块。以下分层详解:

⚡ 请求三要素

URL、Method、Headers构成请求基础。URL需注意编码(urllib.parse.quote);Method常用GET/POST;Headers需模拟真实浏览器(包含Accept、Accept-Encoding、Accept-Language、Referer、Cookie)

⚙️ 响应解析陷阱

网页返回可能含gzip压缩,需设置headers['Accept-Encoding'] = 'gzip, deflate';部分网站返回HTML中嵌入JSON(如' match = re.search(pattern, html, re.DOTALL) if match: json_str = match.group('data')

数据标准化处理

原始数据需清洗为结构化格式:

原始字段清洗后字段处理逻辑
价格:"¥12,345.00"价格:12345.00移除货币符号/逗号,转为float
日期:"2023年10月05日"日期:2023-10-05正则提取数字,格式化为ISO标准
地址:"北京市朝阳区建国路88号"省/市/区/街道基于行政区划数据库切分

代理池构建:高可用IP调度系统

代理池是爬虫稳定性的核心。需包含:代理采集→可用性验证→存活监控→调度策略四大模块。

代理池架构设计

采集层

免费代理源(快代理、云代理)→ API接口(自建代理服务)→ 商业代理(阿里云)

验证层

定期请求目标网站(如baidu.com)→ 检查HTTP状态码/响应时间 → 失败代理移除

调度层

轮询(Round-Robin)/权重(权重=存活率)/随机(防止单IP频发)

代理可用性验证脚本

import requests
from concurrent.futures import ThreadPoolExecutor
def verify_proxy(proxy):
    try:
        r = requests.get('https://www.baidu.com',
                         proxies={'http': proxy, 'https': proxy},
                         timeout=5)
        return r.status_code == 200 and r.elapsed.total_seconds() < 3
    except:
        return False
# 批量验证
with ThreadPoolExecutor(max_workers=20) as executor:
    results = executor.map(verify_proxy, proxy_list)

动态代理策略

根据目标网站反爬强度调整策略:

  • 低反爬网站:每分钟10次请求,IP轮询
  • 中反爬网站:每分钟5次,IP+Headers双重伪装
  • 高反爬网站:每30秒1次,IP+Selenium+行为模拟

异步爬虫:aiohttp与asyncio实战

同步爬虫受网络延迟限制(单线程阻塞)。异步爬虫通过事件循环实现高并发,适合I/O密集型任务。

异步模型对比

方案性能适用场景学习曲线
requests + 多线程中简单任务低
aiohttp + asyncio高高并发请求中
Scrapy(内置Twisted)极高工程化项目高

aiohttp核心代码

import asyncio
import aiohttp
async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()
async def main(urls):
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        return await asyncio.gather(*tasks)
urls = ['https://xxx.com/page{}'.format(i) for i in range(1,101)]
htmls = asyncio.run(main(urls))

异步爬虫注意事项

  • 控制并发量:避免服务器拒绝(session = aiohttp.ClientSession(connector=aiohttp.TCPConnector(limit=50)))
  • 异常处理:对每个任务单独try-except,防止单个失败影响全局
  • 资源释放:确保session正确关闭(with上下文管理器)

分布式架构:Scrapy-Redis与分布式部署

单机爬虫存在性能瓶颈。分布式方案通过任务队列→调度中心→多个爬虫节点实现水平扩展。

Scrapy-Redis核心组件

调度器(Scheduler)

基于Redis的PriorityQueue实现请求去重与优先级队列

去重过滤器(DupeFilter)

使用Redis的Set结构存储请求指纹,防止重复抓取

管道(Pipeline)

数据存入Redis或MySQL,支持多节点共享存储

分布式部署流程

  1. 启动Redis服务:redis-server /etc/redis.conf
  2. 配置Scrapy项目:settings.py中启用Scrapy-Redis组件
  3. 启动多个爬虫节点:scrapy crawl spider
  4. 监控节点状态:redis-cli monitor
# settings.py 启用Scrapy-Redis
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER_PERSIST = True
REDIS_URL = 'redis://:password@localhost:6379'

实用工具推荐:提升开发效率

⚡ 抓包工具

⚙️ 调试工具

〔数据处理〕

工具用途适用场景
Postman接口测试验证API参数与响应
FiddlerHTTP抓包分析请求头/响应体
Scrapy-PlaywrightJS渲染复杂动态页面
Pandas数据清洗结构化数据处理
Dash可视化爬虫监控仪表盘

开发环境推荐

  • IDE:PyCharm(专业版支持Scrapy调试)
  • 虚拟环境:conda create -n crawler python=3.10
  • 版本管理:Git + GitHub(分支管理开发阶段)

高频问题解答:新手常见误区

Q1:为什么爬取的页面和浏览器看到的不一样?

A:多数因动态加载。浏览器会执行JS加载数据,而requests仅获取静态HTML。解决方案:①找API ②用Selenium ③逆向JS

Q2:IP被封后如何恢复?

A:① 立即停止请求 ② 切换代理IP ③ 检查Headers是否被识别 ④ 降低请求频率。预防:建立IP黑名单自动切换机制

Q3:如何处理验证码?

A:① 人工打码平台(如极验) ② OCR识别(Tesseract) ③ 绕过验证(如模拟登录后获取Cookie)

Q4:数据量太大内存溢出怎么办?

A>:① 分页存储(每1000条写入一次) ② 使用生成器(yield)逐条处理 ③ 数据库直写(避免内存缓存)

资源与支持:持续学习路径

爬虫技术更新迅速,建议定期关注:

  • GitHub开源项目:python-spider、scrapy-redis
  • 技术社区:知乎爬虫话题、V2EX爬虫版块
  • 实战项目:爬取豆瓣电影Top250、京东商品评论、微博热搜榜
  • 学习路线:基础语法 → requests基础 → 反爬应对 → Scrapy框架 → 分布式架构

⚡ 项目代码库

包含10+实战案例:电影爬虫、电商比价、舆情监控、学术论文抓取

⚙️ 问题反馈

遇到技术问题?请提供:① 请求URL ② 错误日志 ③ 环境信息(Python/库版本)

〔更新日志

2024-06:新增反爬对抗新策略;2024-03:更新Scrapy-Redis配置;2023-12:补充法律风险指南