从零构建高可用网络数据采集系统|覆盖反爬对抗、代理池、分布式架构与法律合规实践|适合零基础到工程化落地
网络爬虫本质是模拟浏览器行为、自动请求网页并提取结构化数据的程序。其工作流程包含四层逻辑:请求→响应→解析→存储。初学者常误以为爬虫=Requests+BeautifulSoup,实则现代爬虫系统需整合请求调度、反爬绕过、数据清洗与异常处理四大模块。以下分层详解:
session = requests.Session(); session.headers.update({'User-Agent': 'Mozilla/5.0...'})URL、Method、Headers构成请求基础。URL需注意编码(urllib.parse.quote);Method常用GET/POST;Headers需模拟真实浏览器(包含Accept、Accept-Encoding、Accept-Language、Referer、Cookie)
网页返回可能含gzip压缩,需设置headers['Accept-Encoding'] = 'gzip, deflate';部分网站返回HTML中嵌入JSON(如' match = re.search(pattern, html, re.DOTALL) if match: json_str = match.group('data')
原始数据需清洗为结构化格式:
| 原始字段 | 清洗后字段 | 处理逻辑 |
|---|---|---|
| 价格:"¥12,345.00" | 价格:12345.00 | 移除货币符号/逗号,转为float |
| 日期:"2023年10月05日" | 日期:2023-10-05 | 正则提取数字,格式化为ISO标准 |
| 地址:"北京市朝阳区建国路88号" | 省/市/区/街道 | 基于行政区划数据库切分 |
代理池是爬虫稳定性的核心。需包含:代理采集→可用性验证→存活监控→调度策略四大模块。
免费代理源(快代理、云代理)→ API接口(自建代理服务)→ 商业代理(阿里云)
定期请求目标网站(如baidu.com)→ 检查HTTP状态码/响应时间 → 失败代理移除
轮询(Round-Robin)/权重(权重=存活率)/随机(防止单IP频发)
import requests
from concurrent.futures import ThreadPoolExecutor
def verify_proxy(proxy):
try:
r = requests.get('https://www.baidu.com',
proxies={'http': proxy, 'https': proxy},
timeout=5)
return r.status_code == 200 and r.elapsed.total_seconds() < 3
except:
return False
# 批量验证
with ThreadPoolExecutor(max_workers=20) as executor:
results = executor.map(verify_proxy, proxy_list)
根据目标网站反爬强度调整策略:
同步爬虫受网络延迟限制(单线程阻塞)。异步爬虫通过事件循环实现高并发,适合I/O密集型任务。
| 方案 | 性能 | 适用场景 | 学习曲线 |
|---|---|---|---|
| requests + 多线程 | 中 | 简单任务 | 低 |
| aiohttp + asyncio | 高 | 高并发请求 | 中 |
| Scrapy(内置Twisted) | 极高 | 工程化项目 | 高 |
import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url) as response:
return await response.text()
async def main(urls):
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, url) for url in urls]
return await asyncio.gather(*tasks)
urls = ['https://xxx.com/page{}'.format(i) for i in range(1,101)]
htmls = asyncio.run(main(urls))
单机爬虫存在性能瓶颈。分布式方案通过任务队列→调度中心→多个爬虫节点实现水平扩展。
基于Redis的PriorityQueue实现请求去重与优先级队列
使用Redis的Set结构存储请求指纹,防止重复抓取
数据存入Redis或MySQL,支持多节点共享存储
# settings.py 启用Scrapy-Redis
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER_PERSIST = True
REDIS_URL = 'redis://:password@localhost:6379'
技术无罪,但滥用可能触犯法律。以下为高频风险点:
单IP请求≤1次/秒,关键路径(如登录页)≤1次/5秒
仅采集必要字段(如商品名、价格),避免采集用户ID、评论内容
存储前对手机号、邮箱进行哈希处理(sha256)
2022年某公司因爬取某招聘网站简历数据被诉,法院判决:爬虫未遵守robots.txt、超量请求构成不正当竞争,赔偿20万元。合规关键:尊重网站声明、控制请求量、避免采集敏感数据。
| 工具 | 用途 | 适用场景 |
|---|---|---|
| Postman | 接口测试 | 验证API参数与响应 |
| Fiddler | HTTP抓包 | 分析请求头/响应体 |
| Scrapy-Playwright | JS渲染 | 复杂动态页面 |
| Pandas | 数据清洗 | 结构化数据处理 |
| Dash | 可视化 | 爬虫监控仪表盘 |
A:多数因动态加载。浏览器会执行JS加载数据,而requests仅获取静态HTML。解决方案:①找API ②用Selenium ③逆向JS
A:① 立即停止请求 ② 切换代理IP ③ 检查Headers是否被识别 ④ 降低请求频率。预防:建立IP黑名单自动切换机制
A:① 人工打码平台(如极验) ② OCR识别(Tesseract) ③ 绕过验证(如模拟登录后获取Cookie)
A>:① 分页存储(每1000条写入一次) ② 使用生成器(yield)逐条处理 ③ 数据库直写(避免内存缓存)
爬虫技术更新迅速,建议定期关注:
包含10+实战案例:电影爬虫、电商比价、舆情监控、学术论文抓取
遇到技术问题?请提供:① 请求URL ② 错误日志 ③ 环境信息(Python/库版本)
2024-06:新增反爬对抗新策略;2024-03:更新Scrapy-Redis配置;2023-12:补充法律风险指南