① 入门导引:构建第一只爬虫
🐍 什么是网络爬虫?
网络爬虫(Web Crawler)是一种自动抓取互联网信息的程序,其本质是模拟浏览器行为,向目标网站发起HTTP请求,并解析返回的HTML内容,提取所需数据。在Python生态中,爬虫技术已发展为一门融合网络协议、HTML解析、数据处理与工程部署的综合技能。
与搜索引擎爬虫不同,Python3网络爬虫实战更强调:
• 主动定制化采集策略
• 精准数据提取逻辑
• 高效并发处理能力
• 合规性与反检测对抗能力
🔧 必备环境准备
建议使用Python 3.8+版本,推荐安装以下基础库:
requests:HTTP请求发送beautifulsoup4+lxml:HTML解析urllib3:底层HTTP客户端(可选)fake-useragent:User-Agent伪造pyquery:类似jQuery的解析器
安装示例:
pip install requests beautifulsoup4 lxml fake-useragent
🚀 第一个最小可行爬虫(MVP)
目标:抓取百度首页标题
import requests
from bs4 import BeautifulSoup
url = 'https://www.baidu.com'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}
resp = requests.get(url, headers=headers)
resp.encoding = 'utf-8'
soup = BeautifulSoup(resp.text, 'lxml')
title = soup.title.string
print(f'页面标题:{title}')
⚠️ 注意:百度对非浏览器请求返回空内容或重定向,需严格模拟真实浏览器行为。
🔍 常见初学者误区
- 直接复制浏览器请求URL但未带完整Headers:导致403/400错误
- 忽略Cookie与Session管理:登录态丢失,无法访问需认证页面
- 未处理编码问题:中文乱码(应使用
resp.apparent_encoding) - 未做异常捕获:网络中断时程序崩溃
② 核心技术栈详解
📡 HTTP请求深度剖析
Python3网络爬虫实战中,requests库是基石。但仅会调用get()远远不够。需掌握:
- 请求参数构造:query、body(form/json)、files上传
- 会话保持:
Session对象自动管理Cookie - 超时与重试机制:避免长时间挂起
- SSL证书验证绕过(仅测试环境)
session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0 ...'})
session.cookies.set('sessionid', 'abc123', domain='.example.com')
response = session.post(
'https://api.example.com/login',
data={'username': 'user', 'password': 'pass'},
timeout=5,
allow_redirects=True
)
🧩 HTML解析进阶
解析方式对比:
| 方式 | 速度 | 容错性 | 适用场景 |
|---|---|---|---|
html.parser | 中 | 高 | 小型项目 |
lxml | 快 | 中 | 高性能需求 |
html5lib | 慢 | 极高 | 结构混乱页面 |
BeautifulSoup使用技巧:
- 使用
find_all('a', href=re.compile(r'/item/'))模糊匹配 - 组合选择器:
soup.select('div.content > ul.list li.active a') - 提取文本:
.get_text(strip=True)避免多余空白
🔍 XPath:精准定位利器
当页面结构复杂时,XPath比CSS选择器更强大。典型用法:
from lxml import etree
tree = etree.HTML(resp.text)
titles = tree.xpath('//div[@class="article"]//h2/text()')
links = tree.xpath('//a[contains(@href, "detail")]/@href')
高频XPath表达式:
//div[@id='main']:ID选择//ul/li[1]/a:第1个子元素//a[re:test(@href, '\d{8}')]`:正则匹配(需注册命名空间)//script[contains(text(),'window.__INITIAL_STATE__')]:提取内联JS
③ 三大核心工具对比
🧪 Selenium自动化测试框架
适用于动态加载页面(如无限滚动、AJAX渲染),需配合浏览器驱动(ChromeDriver等)。
典型用法:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get('https://dynamic.example.com')
wait = WebDriverWait(driver, 10)
# 等待元素加载
element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.item')))
items = driver.find_elements(By.CSS_SELECTOR, '.item')
for item in items:
print(item.text)
优化建议:
- 启用无头模式:
options.add_argument('--headless') - 禁用图片加载:
prefs = {"profile.managed_default_content_settings.images": 2} - 使用
execute_cdp_cmd注入JS绕过检测
⚡ Playwright:微软新一代自动化工具
支持多浏览器(Chromium/Firefox/WebKit),API更现代,自动等待机制减少手动同步。
优势:
- 自动等待元素可交互,无需
sleep - 支持网络拦截与响应Mock
- 内置Tracing调试功能
- 跨语言(Python/JS/Java/C#)
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto('https://example.com')
content = page.inner_text('.main-content')
browser.close()
🐍 Pyppeteer:无头Chrome控制库
基于pyppeteer(非官方)或playwright(推荐升级),适合需要精细控制Chrome DevTools Protocol的场景。
典型场景:
- 截取全屏或指定区域
- 注入JS修改
navigator.webdriver标志 - 模拟鼠标移动、键盘输入
④ 反爬机制突破策略
🛡️ 常见反爬手段及应对
| 反爬类型 | 检测点 | 破解方案 |
|---|---|---|
| Header检测 | User-Agent、Referer缺失 | 完整Headers模拟 |
| IP频率限制 | 单位时间请求过多 | IP池轮换+请求间隔控制 |
| Cookie验证 | 需登录态或动态Token | Session保持 + AES解密Token |
| JS渲染 | 内容由JS动态生成 | Selenium/Playwright + 混淆JS逆向 |
| 签名参数 | 请求含sign=md5(...) | 定位sign生成函数 + 逆向JS |
🧩 典型案例:某电商商品详情页
问题:商品价格字段在HTML中为¥0.00,但实际价格需从window.__INITIAL_STATE__中提取。
解决方案:
- 搜索Network面板中的
__INITIAL_STATE__关键词 - 定位到JS源码中的赋值语句:
window.__INITIAL_STATE__ = {"price": 1299.00} - 用正则提取:
price = re.search(r'__INITIAL_STATE__\s*=\s*({.*?});', html).group(1) - 用
json.loads()解析JSON
import json, re
state = re.search(r'__INITIAL_STATE__\s*=\s*({.*?});', resp.text).group(1)
data = json.loads(state)
price = data['goods']['price'] # 实际价格
🔒 滑块验证码识别
以极验(Geetest)为例,突破流程:
- 请求
gt.php获取challenge - 下载背景图+缺口图
- 图像处理计算缺口偏移量(OpenCV模板匹配)
- 模拟拖动轨迹(贝塞尔曲线)
- 发送验证请求
⚠️ 注意:部分网站采用行为轨迹分析(鼠标移动加速度),需模拟人类操作。
⑤ 异步与高并发优化
⚡ asyncio + aiohttp实践
同步爬虫每秒仅能处理数个请求,而异步可提升至数百倍。核心逻辑:
import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url) as resp:
return await resp.text()
async def main(urls):
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, url) for url in urls]
results = await asyncio.gather(*tasks)
return results
urls = ['https://a.com', 'https://b.com', ...]
data = asyncio.run(main(urls))
性能对比:
| 方式 | 100页耗时 | 吞吐量 |
|---|---|---|
| requests同步 | 120s | 0.83页/秒 |
| aiohttp异步 | 8s | 12.5页/秒 |
⚙️ 线程池 + 队列方案(适合IO密集型)
对不支持异步的库(如旧版urllib2),可结合concurrent.futures:
from concurrent.futures import ThreadPoolExecutor
import requests
def download(url):
return requests.get(url).text
urls = [...] * 200
with ThreadPoolExecutor(max_workers=20) as executor:
results = list(executor.map(download, urls))
📊 性能监控与熔断
高并发下易出现:
- 内存溢出(未及时释放响应体)
- 连接池耗尽(未设置
limit_per_host) - 目标站宕机(需熔断机制)
解决方案:
- 使用
asyncio.Semaphore(20)限制并发数 - 设置请求重试次数(指数退避)
- 实时监控CPU/内存占用(
psutil)
⑥ 数据存储与清洗
💾 多样化存储方案
| 存储方式 | 适用场景 | 示例代码 |
|---|---|---|
| CSV | 小规模数据 | df.to_csv('data.csv', index=False) |
| SQLite | 轻量级本地库 | conn.execute('INSERT INTO items VALUES (?,?,?)', data) |
| MongoDB | JSON结构化数据 | collection.insert_one(doc) |
| Elasticsearch | 全文检索+分析 | es.index(index='products', body=doc) |
🧼 数据清洗实战
以商品价格清洗为例:
import re
def clean_price(text):
# 提取数字+小数点
match = re.search(r'¥?(\d+(?:\.\d+)?)', text)
return float(match.group(1)) if match else 0
prices = ['¥1,299.00', '¥899', '¥0.00', '暂无报价']
cleaned = [clean_price(p) for p in prices]
# [1299.0, 899.0, 0.0, 0.0]
常用清洗技巧:
- 去除HTML标签:
re.sub(r'<.*?>', '', text) - Unicode转中文:
text.encode('latin1').decode('unicode_escape') - 时间标准化:
datetime.strptime('2023-08-15', '%Y-%m-%d')
📊 数据可视化入门
用matplotlib绘制价格分布图:
import matplotlib.pyplot as plt
plt.hist(prices, bins=20, color='#037ef3', edgecolor='black')
plt.title('商品价格分布(元)')
plt.xlabel('价格')
plt.ylabel('数量')
plt.show()
进阶推荐:
- PyECharts:交互式图表(支持地图/关系图)
- Plotly:Web端动态可视化
- Streamlit:快速构建数据应用
⑦ 真实项目实战案例
🛒 京东商品评论爬取
难点:
- 评论接口为POST请求,含加密参数
uuid、token - 分页参数需从响应JSON中提取
- 评论内容含Emoji表情,需UTF-8兼容
解决方案:
- 抓包定位接口:
https://club.jd.com/comment/productPageComments.action - 构造POST参数:
productId=xxx&score=0&sortType=5&page={}&pageSize=10 - 解析JSON响应:
comments = resp.json()['comments'] - 提取字段:
content, creationTime, nickname
for page in range(1, 101):
params = {'productId': 100012345678, 'page': page}
resp = session.post(url, data=params)
comments = resp.json()['comments']
for c in comments:
print(c['content'][:50])
📰 知乎热榜Top50自动抓取
技术点:
- 使用
fake-useragent生成随机UA - 解析动态加载内容(需Playwright)
- 保存为Markdown格式(含标题/链接/热度)
输出示例:
# 2023-08-15 知乎热榜Top50
1. [如何评价最近的XX事件?](https://zhihu.com/...)
热度:125000
2. [Python爬虫如何绕过JS混淆?](https://zhihu.com/...)
热度:98000
🌍 多语言网站采集(中文/英文/日文)
关键问题:编码混杂导致乱码
解决方案:
- 检测响应头
Content-Type中的charset - 使用
chardet库自动检测编码:
import chardet
encoding = chardet.detect(resp.content)['encoding']
resp.encoding = encoding - 对日文站点启用
'shift_jis'兼容
⑧ 合规与法律风险防范
⚖️ 合法爬虫的5项原则
- robots.txt遵循:
https://example.com/robots.txt禁止目录不爬取 - 数据用途合规:仅用于个人研究/新闻报道,禁止商业滥用
- 频率控制:单IP每分钟≤10次请求
- 禁止绕过技术措施:不得破解验证码/加密协议
- 数据脱敏处理:删除用户手机号、身份证等敏感信息
🛡️ 典型违法案例警示
2022年某公司因爬取某社交平台用户数据(含手机号)并出售,被法院以非法获取计算机信息系统数据罪判刑3年。
合规建议:
- 部署前做
robots.txt扫描(用urllib.robotparser) - 添加
Accept: application/json头表明非浏览器身份 - 对API数据,优先使用官方开放平台
- 建立数据审计日志(记录爬取时间/URL/条数)
❓ 网友们还关心
- 爬虫是否违法?——仅当违反
robots.txt、突破技术措施或商用侵权时违法 - 如何检测是否被封IP?——检查HTTP状态码:403/429/503
- Python2还能用吗?——2020年已停止支持,必须迁移到Python3
- Scrapy和Requests怎么选?——简单任务用Requests,复杂项目用Scrapy
- 如何防止反爬?——合理控制频率 + 完整Headers + 模拟人类行为