Python爬虫入门
本教程适合零基础读者
- HTTP协议基础
- Requests库使用
- HTML解析技巧
本教程适合零基础读者
| 解析器 | 优点 | 缺点 |
|---|---|---|
| html.parser | 内置、无需安装、兼容性好 | 速度较慢、容错弱 |
| lxml | 速度快、容错强、支持XPath | 需安装C语言依赖 |
| html5lib | 容错最强、符合HTML5标准 | 速度最慢、内存占用高 |
lxml是基于libxml2的Python绑定,特点:
• 原生支持XPath/XSLT
• 解析速度比BeautifulSoup快3-5倍
• 支持流式解析(处理超大文档)
安装要求:
pip install lxml
# lxml解析与XPath应用
from lxml import html
# 解析HTML
tree = html.fromstring(html_doc)
# XPath精准定位
title_text = tree.xpath('//title/text()')[0] # "示例页面"
intro_text = tree.xpath('//p[@class="intro"]/text()')[0] # "本教程适合零基础读者"
# 多层路径选择
li_texts = tree.xpath('//ul/li/text()')
# 结果:['HTTP协议基础', 'Requests库使用', 'HTML解析技巧']
# 条件过滤
first_li = tree.xpath('//ul/li[1]/text()')[0] # "HTTP协议基础"
# 属性提取
img_src = tree.xpath('//img[@id="banner"]/@src')[0] if tree.xpath('//img[@id="banner"]/@src') else None
| 表达式 | 说明 | 示例 |
|---|---|---|
| / | 从根节点选择 | /html/body/div |
| // | 从任意位置选择 | //div[@class='content'] |
| @ | 选择属性 | //a/@href |
| [] | 位置过滤 | //li[1](第一个li) |
| contains() | 包含文本 | //div[contains(@class,'news')] |
| text() | 获取文本 | //span[@id='price']/text() |
Selenium是自动化测试工具,核心价值:
• 完全模拟用户操作(点击、滚动、输入)
• 支持Headless模式(无界面运行)
• 无缝集成Chrome/Firefox驱动
安装要求:
pip install selenium
下载ChromeDriver(版本需匹配Chrome浏览器)
# Selenium基础配置
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# Headless模式配置
chrome_options = Options()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--no-sandbox")
chrome_options.add_argument("--disable-dev-shm-usage")
driver = webdriver.Chrome(options=chrome_options)
try:
# 访问动态页面
driver.get("https://example.com/dynamic-content")
# 等待特定元素加载完成(最多等待10秒)
wait = WebDriverWait(driver, 10)
content_element = wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR, ".dynamic-content"))
)
# 获取渲染后的内容
html = driver.page_source
# 模拟滚动加载更多
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2)
# 提取数据
items = driver.find_elements(By.CSS_SELECTOR, ".item-card")
for item in items:
title = item.find_element(By.CSS_SELECTOR, "h3").text
price = item.find_element(By.CSS_SELECTOR, ".price").text
print(f"商品: {title}, 价格: {price}")
finally:
driver.quit()
| 场景 | 解决方案 | 注意事项 |
|---|---|---|
| 懒加载图片 | 滚动至底部触发加载 | 需等待图片实际加载完成 |
| JS加密参数 | 使用PyExecJS执行JS代码 | 可能涉及法律风险 |
| 滑块验证 | OpenCV识别缺口位置 | 需模拟人类移动轨迹 |
| 点击验证 | selenium-wire拦截请求 | 分析验证参数生成逻辑 |
Scrapy是Python最成熟的爬虫框架,特点:
• 异步IO提升并发性能
• 内置数据管道与中间件
• 支持分布式(Scrapy-Redis)
核心组件:
Engine(引擎)→ Spider(爬虫)→ Downloader(下载器)→ Item Pipeline(数据管道)
# Scrapy爬虫示例
import scrapy
from ..items import NewsItem
class NewsSpider(scrapy.Spider):
name = "news_spider"
allowed_domains = ["example.com"]
start_urls = ["https://example.com/news"]
def parse(self, response):
# 解析列表页
for article in response.css("article.news-item"):
item = NewsItem()
item["title"] = article.css("h2 a::text").get()
item["url"] = article.css("h2 a::attr(href)").get()
item["pub_date"] = article.css(".date::text").get()
yield item
# 翻页处理
next_page = response.css("a.next::attr(href)").get()
if next_page:
yield response.follow(next_page, callback=self.parse)
# items.py
import scrapy
class NewsItem(scrapy.Item):
title = scrapy.Field()
url = scrapy.Field()
pub_date = scrapy.Field()
content = scrapy.Field()
# pipelines.py
import json
class JsonWriterPipeline:
def open_spider(self, spider):
self.file = open("news_data.json", "w", encoding="utf-8")
self.file.write("[\n")
def close_spider(self, spider):
self.file.write("\n]")
self.file.close()
def process_item(self, item, spider):
line = json.dumps(dict(item), ensure_ascii=False) + ",\n"
self.file.write(line)
return item
反爬第一道防线是检查请求头,需构造完整Headers:
• User-Agent:必须真实有效(从浏览器复制最新版)
• Referer:设置为来源页面URL
• Accept-Language:匹配浏览器语言
• Cookie:登录后携带有效会话
动态Headers生成方案:
ua = UserAgent().random # 随机UA
headers = {
"User-Agent": ua,
"Referer": "https://www.google.com/search?q=" + keyword,
"Accept-Language": "zh-CN,zh;q=0.9"
}
高级技巧:
• 使用真实浏览器导出Cookie(Chrome扩展:EditThisCookie)
• 模拟TLS指纹(使用tls-client库)
• 添加随机延迟避免请求模式固定
IP封禁是常见反爬手段,需构建代理池:
① 免费代理:验证可用性后加入池(但稳定性差)
② 付费代理:选择高匿名IP服务(推荐)
③ 本地代理:通过Tor网络轮换IP
# 代理池管理示例
import random
import requests
proxy_pool = [
{"http": "http://123.123.123.123:8080"},
{"http": "http://222.222.222.222:8080"},
{"http": "http://333.333.333.333:8080"}
]
def get_with_proxy(url):
while True:
try:
proxy = random.choice(proxy_pool)
response = requests.get(url, proxies=proxy, timeout=5)
if response.status_code == 200:
return response
except:
proxy_pool.remove(proxy) # 移除失效代理
if not proxy_pool:
raise Exception("代理池为空")
# 使用示例
response = get_with_proxy("https://example.com")
| 验证项 | 测试方法 | 合格标准 |
|---|---|---|
| 可用性 | 访问httpbin.org/ip | 返回真实IP且非黑IP |
| 匿名度 | 检查X-Forwarded-For头 | 不暴露真实IP |
| 响应速度 | 测量请求耗时 | < 3秒 |
| 稳定性 | 连续测试10次 | 成功率≥90% |
当遇到加密参数时,可采用以下策略:
① 参数逆向:定位JS加密函数,用PyExecJS执行
② 请求拦截:使用selenium-wire获取最终请求
③ 模拟执行:用Playwright/Selenium直接获取渲染后内容
# PyExecJS执行JS加密
import execjs
# 从网页提取JS加密函数
js_code = """
function encrypt(data) {
var key = 'xservx';
return btoa(key + data);
}
"""
ctx = execjs.compile(js_code)
encrypted = ctx.call("encrypt", "user_id=12345")
print(encrypted) # 输出:eHNlcnZ4dXNlcl9pZD0xMjM0NQ==
步骤1:在网页源码搜索"职位ID"相关变量
步骤2:定位到JS函数:function getJobId(id) { return md5(id + "salt") }
步骤3:用PyExecJS复现加密逻辑
步骤4:将加密结果加入请求参数
法律提醒:
• 仅对公开数据进行参数破解
• 禁止修改客户端逻辑绕过付费墙
• 高风险破解行为需咨询法律顾问
常见验证码类型及解决方案:
① 滑块验证:
• OpenCV识别缺口位置
• 生成人类滑动轨迹(加速-减速-微调)
• 工具:selenium-slide
② 点选验证:
• OCR识别文字+坐标映射
• 模拟点击序列
③ 文字点选:
• 图像分割+深度学习识别
# 滑块验证模拟(简化版)
from selenium.webdriver.common.action_chains import ActionChains
# 定位滑块元素
slider = driver.find_element(By.CSS_SELECTOR, "#slider")
# 计算滑动距离(缺口位置 - 滑块初始位置)
distance = get_slider_distance()
# 生成人类滑动轨迹
def get_tracks(distance):
tracks = []
current = 0
v = 0
t = 0.2
while current < distance:
if current < distance * 0.7:
a = 2
else:
a = -3
v0 = v
s = v0 * t + 0.5 * a * (t ** 2)
current += s
tracks.append(round(s))
v = v0 + a * t
return tracks
# 执行滑动
tracks = get_tracks(distance)
actions = ActionChains(driver)
actions.click_and_hold(slider).perform()
for x in tracks:
actions.move_by_offset(xoffset=x, yoffset=0).perform()
actions.release().perform()
| 策略 | 适用场景 | 成功率 |
|---|---|---|
| 降低请求频率 | 低频数据采集 | 70% |
| 使用真实浏览器 | 中等反爬强度 | 85% |
| 第三方验证平台 | 高反爬网站 | 95% |
常见脏数据类型:
① HTML标签残留(<script>、<style>)
② 特殊字符(\u00a0、\u200b)
③ 多余空白(\n、\r、\t)
④ 编码错误(乱码、问号)
# Python文本清洗模板
import re
import unicodedata
def clean_text(text):
# 1. 移除HTML标签
text = re.sub(r"<[^>]+>", "", text)
# 2. 规范化Unicode字符
text = unicodedata.normalize("NFKC", text)
# 3. 移除零宽字符
text = re.sub(r"[\u200b\u200c\u200d\u00a0]", "", text)
# 4. 规范化空白字符
text = re.sub(r"\s+", " ", text)
# 5. 移除首尾空白
return text.strip()
# 测试清洗效果
raw = "Python爬虫获取网页内容\u00a0\n\n<script>alert(1)</script>教学"
print(clean_text(raw))
# 输出:Python爬虫获取网页内容 教学
| 目标 | 正则表达式 | 说明 |
|---|---|---|
| 移除脚本 | <script[^>]*>.*?</script> | 移除JS代码块 |
| 提取手机号 | 1[3-9]\d{9} | 匹配11位手机号 |
| 清理邮箱 | [a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,} | 标准邮箱匹配 |
| 中文提取 | [\u4e00-\u9fa5]+ | 仅保留中文 |
存储方案对比:
• CSV:适合小规模数据,Excel可直接打开
• JSON:适合嵌套结构,API数据友好
• MySQL:支持复杂查询,事务安全
• MongoDB:适合非结构化数据,扩展性强
# CSV存储示例
import csv
data = [
["标题", "URL", "发布时间"],
["Python爬虫教程", "https://example.com/1", "2024-03-15"],
["反爬对抗策略", "https://example.com/2", "2024-03-16"]
]
with open("data.csv", "w", newline="", encoding="utf-8-sig") as f:
writer = csv.writer(f)
writer.writerows(data)
# MySQL存储示例
import mysql.connector
conn = mysql.connector.connect(
host="localhost",
user="root",
password="password",
database="crawler_db"
)
cursor = conn.cursor()
cursor.execute("""
CREATE TABLE IF NOT EXISTS news (
id INT AUTO_INCREMENT PRIMARY KEY,
title VARCHAR(255),
url VARCHAR(255),
pub_date DATE
)
""")
# 插入数据
sql = "INSERT INTO news (title, url, pub_date) VALUES (%s, %s, %s)"
values = ("Python爬虫教程", "https://example.com/1", "2024-03-15")
cursor.execute(sql, values)
conn.commit()
| 方案 | 适用场景 | 性能 |
|---|---|---|
| 集合去重 | 内存足够小数据 | 高 |
| 数据库唯一索引 | 持久化存储 | 中 |
| Bloom Filter | 海量数据去重 | 极高 |
关键验证点:
① 完整性:检查必填字段是否缺失
② 一致性:日期格式、数值单位统一
③ 合理性:价格范围、时间逻辑校验
④ 重复性:主键冲突检测
# 数据验证模板
from datetime import datetime
def validate_item(item):
errors = []
# 1. 必填字段检查
required_fields = ["title", "url", "pub_date"]
for field in required_fields:
if not item.get(field):
errors.append(f"缺失必填字段: {field}")
# 2. URL格式验证
if item.get("url") and not item["url"].startswith("http"):
errors.append("URL格式错误")
# 3. 日期合理性检查
if item.get("pub_date"):
try:
date = datetime.strptime(item["pub_date"], "%Y-%m-%d")
if date.year < 2000 or date.year > 2030:
errors.append("日期超出合理范围")
except ValueError:
errors.append("日期格式错误")
# 4. 价格范围检查
if item.get("price"):
try:
price = float(item["price"])
if price < 0 or price > 10000000:
errors.append("价格异常")
except ValueError:
errors.append("价格非数字")
return errors
# 测试验证
item = {"title": "示例", "url": "https://example.com", "pub_date": "2024-03-15", "price": "99.9"}
errors = validate_item(item)
if errors:
print("验证失败:", errors)
else:
print("数据有效")
目标网站:某新闻门户
难点:列表页分页、详情页JS动态加载、反爬IP限制
解决方案:
① 使用Selenium获取列表页分页链接
② 对每个详情页执行等待渲染
③ 采用代理池轮换IP
④ 使用BeautifulSoup提取结构化数据
# 完整新闻采集流程
from selenium import webdriver
from bs4 import BeautifulSoup
import requests
import time
import random
def get_news_list():
driver = webdriver.Chrome()
driver.get("https://example-news.com/news")
time.sleep(3)
# 获取所有分页链接
page_links = driver.find_elements(By.CSS_SELECTOR, ".pagination a")
return [link.get_attribute("href") for link in page_links]
def get_news_detail(url):
# 使用requests获取HTML
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
response = requests.get(url, headers=headers)
# 解析内容
soup = BeautifulSoup(response.text, "lxml")
# 提取标题
title = soup.find("h1", class_="news-title").get_text()
# 提取正文(移除脚注)
content_div = soup.find("div", class_="news-content")
for script in content_div(["script", "style"]):
script.decompose()
content = content_div.get_text(separator="\n", strip=True)
return {"title": title, "content": content, "url": url}
# 执行采集
news_list = get_news_list()
for url in news_list[:5]: # 仅采集前5页
news = get_news_detail(url)
print(f"标题: {news['title']}\n内容预览: {news['content'][:100]}...\n")
time.sleep(random.uniform(1.5, 2.5)) # 随机延迟
| 标题 | 发布时间 | 来源 | 关键词 |
|---|---|---|---|
| Python爬虫技术发展现状 | 2024-03-15 | 技术前沿网 | 爬虫,Python,数据采集 |
| 反爬策略最新演变趋势 | 2024-03-16 | 网络安全观察 | 反爬,安全,JS混淆 |
需求:监控指定商品价格变动,触发阈值报警
技术方案:
① 使用Scrapy框架构建高并发采集
② 定义Item Pipeline进行价格格式化
③ 集成Redis实现增量更新检测
④ 邮件/SMS报警机制
# 价格监控核心逻辑
import re
from datetime import datetime
def parse_price(price_str):
# 清理价格字符串
cleaned = re.sub(r"[^\d.]", "", price_str)
try:
return float(cleaned)
except ValueError:
return None
def check_price_threshold(current_price, threshold=100):
# 当前价格低于阈值时触发报警
return current_price < threshold
# 模拟价格监控
def monitor_product(product_url):
# 采集当前价格
response = requests.get(product_url)
soup = BeautifulSoup(response.text, "lxml")
price_element = soup.select_one(".product-price")
current_price = parse_price(price_element.get_text())
# 检查阈值
if check_price_threshold(current_price):
send_alert(product_url, current_price)
return True
return False
def send_alert(url, price):
print(f"[{datetime.now()}] 警报:商品价格低于阈值!")
print(f"URL: {url}")
print(f"当前价格: ¥{price}")
# 这里集成邮件/SMS发送API
# 运行监控
monitor_product("https://example-shop.com/product/123")
| 阈值类型 | 触发条件 | 通知方式 |
|---|---|---|
| 价格下降 | 低于历史均价15% | 邮件+企业微信 |
| 库存预警 | 库存少于10件 | 短信+站内信 |
| 促销开始 | 出现"限时折扣"标识 | 钉钉机器人 |
需求:实时监控指定关键词在社交媒体的提及量
架构设计:
① 多源数据采集(微博、知乎、新闻站)
② NLP情感分析(正向/中性/负向)
③ 热度计算(提及量×情感权重)
④ 可视化大屏展示
# 简化版舆情分析
from collections import Counter
import jieba
def analyze_sentiment(text):
# 简易情感词典
positive_words = ["优秀", "推荐", "惊喜", "满意"]
negative_words = ["失望", "垃圾", "差评", "吐槽"]
words = jieba.lcut(text)
positive_count = sum(1 for w in words if w in positive_words)
negative_count = sum(1 for w in words if w in negative_words)
if positive_count > negative_count:
return "正向"
elif negative_count > positive_count:
return "负向"
else:
return "中性"
# 模拟数据
comments = [
"Python爬虫获取网页内容教程太棒了,强烈推荐!",
"有些反爬机制没讲清楚,有点失望",
"内容中规中矩,适合入门读者"
]
results = []
for comment in comments:
sentiment = analyze_sentiment(comment)
results.append({"text": comment, "sentiment": sentiment})
# 统计结果
sentiment_counts = Counter(r["sentiment"] for r in results)
print("情感分布:", dict(sentiment_counts))
| 指标 | 计算公式 | 意义 |
|---|---|---|
| 提及量 | 关键词出现次数 | 热度基础指标 |
| 情感指数 | (正向-负向)/总数 | 舆论倾向性 |
| 传播力 | 转发量×0.4 + 评论量×0.3 + 点赞量×0.3 | 内容影响力 |
| 爆发度 | 24小时提及量增长 | 事件热度变化 |
A:分层应对方案:
① 预防阶段:
• 控制请求频率(≥2秒/次)
• 使用真实User-Agent
• 遵守robots.txt
② 应急处理:
• 立即停止请求,等待10分钟
• 更换IP(使用代理池)
• 检查是否触发了特殊验证
③ 长期策略:
• 构建高质量代理池
• 模拟真实用户行为
• 重要项目使用付费IP服务
A:根据场景选择工具:
• Selenium:适合页面交互复杂、JS渲染强的场景
• Playwright:比Selenium更快、更稳定
• 分析XHR请求:直接请求API接口(推荐)
• PyExecJS:仅当必须执行JS时使用
推荐流程:
1. 用浏览器开发者工具检查Network标签
2. 查找返回JSON的XHR请求
3. 直接用requests请求该API
4. 仅当无API时才用Selenium
A:多维度优化策略:
① 请求层优化:
• 连接池复用(requests.Session)
• 并发请求(asyncio/aiohttp)
• 断点续传(记录已爬URL)
② 解析层优化:
• lxml替代BeautifulSoup
• XPath精准定位减少DOM遍历
• 流式解析处理大文档
③ 存储层优化:
• 批量写入数据库
• 使用NoSQL(MongoDB)
• 定期归档旧数据
| 方案 | 1000页采集耗时 | 内存占用 |
|---|---|---|
| requests+BeautifulSoup | 120秒 | 150MB |
| requests+lxml | 45秒 | 80MB |
| aiohttp+lxml | 25秒 | 100MB |
| Scrapy | 30秒 | 120MB |
A:生产级监控方案:
① 健康检查:
• 定时访问状态页(/health)
• 检查内存/CPU使用率
② 错误恢复:
• 失败重试机制(最多3次)
• 失败任务队列持久化
③ 日志系统:
• 结构化日志(JSON格式)
• 重要事件告警(邮件/企业微信)
④ 资源管理:
• 定期清理临时文件
• 数据库连接池复用
• 磁盘空间监控
| 类别 | 关键指标 | 告警阈值 |
|---|---|---|
| 采集状态 | 成功率 | < 95% |
| 性能指标 | 请求耗时 | > 10秒 |
| 系统资源 | 内存使用率 | > 85% |
| 数据质量 | 空值率 | > 10% |
A:经验总结与建议:
① 开发规范:
• 所有配置外置化(config.py)
• 使用日志替代print
• 每个爬虫独立项目目录
② 代码质量:
• 添加异常处理(try/except)
• 关键步骤添加注释
• 使用类型提示(type hints)
③ 法律合规:
• 每次采集前检查robots.txt
• 记录采集日志(时间/URL/频次)
• 重要项目咨询法律顾问
| 工具 | 用途 | 推荐版本 |
|---|---|---|
| Postman | API调试 | 最新版 |
| XPath Helper | Chrome扩展 | 最新版 |
| Charles | HTTP代理调试 | 5.x |
| RedisInsight | Redis可视化 | 最新版 |