Python爬虫下载保存|高效抓取与持久存储全攻略
从零构建稳定可维护的爬虫系统,详解HTTP请求生命周期、编码处理、异常重试、断点续传等关键环节,覆盖初学者入门到生产级部署全流程。
爬虫核心原理与工作流程
网络爬虫本质是模拟浏览器行为,通过程序自动获取网页内容的技术。其核心流程包含四步:请求构造、网络传输、内容解析、数据保存。
在python爬虫下载保存实践中,开发者常遇到编码混乱、动态加载、反爬拦截、存储低效等典型问题。我们系统梳理解决方案如下:
请求层设计
合理设置Headers模拟真实浏览器,添加User-Agent、Accept-Language、Referer等字段。使用Session保持连接池,提升并发效率。
响应处理
自动检测Content-Type与编码(如utf-8/gb2312),处理gzip/deflate压缩,实现超时重试与异常捕获。
内容解析
结合正则表达式、BeautifulSoup、lxml解析DOM树,支持XPath与CSS选择器双模式,精准提取目标字段。
持久化存储
结构化数据存入MySQL/PostgreSQL,非结构化数据(图片/视频)保存至本地或云存储,支持增量更新与去重机制。
典型爬虫生命周期
主流工具链对比与选型
选择合适的工具是python爬虫下载保存成功的关键。以下为常用库对比分析:
| 工具类型 | 代表库 | 适用场景 | 优势 | 局限性 |
|---|---|---|---|---|
| HTTP请求 | requests |
静态页面抓取 | API简洁、文档丰富、社区成熟 | 不支持JS渲染,处理复杂交互需配合Selenium |
| 异步请求 | aiohttp |
高并发批量下载 | 单线程处理千级并发,CPU占用低 | 学习曲线陡峭,错误调试困难 |
| 动态渲染 | Selenium |
验证码识别、登录态维持 | 完全模拟浏览器行为,兼容性好 | 资源消耗大,速度慢于静态请求 |
| 解析提取 | lxml |
高性能DOM解析 | C1000+页面/秒解析速度,支持XPath | 需安装C依赖库,安装复杂度高 |
| 数据存储 | SQLAlchemy |
结构化数据持久化 | 支持多种数据库,ORM映射简化操作 | 复杂查询需掌握SQL语法 |
推荐技术栈组合
针对不同规模项目,我们提供三套方案:
- 轻量级方案:
requests + BeautifulSoup + CSV,适合单页面小规模数据采集 - 生产级方案:
aiohttp + lxml + MySQL + Redis,支持百万级数据存储与增量更新 - 企业级方案:
Playwright + Scrapy-Redis + Elasticsearch + MinIO,实现分布式爬取与实时检索
下载与保存核心方法详解
高效python爬虫下载保存需兼顾速度、稳定性与资源占用。以下提供四种主流下载策略:
同步下载(requests方式)
适用于小规模文件下载(如单页图片抓取),代码简单但效率受限于网络延迟。
import requests
from pathlib import Path
def download_sync(url, save_path):
try:
response = requests.get(url, timeout=10)
response.raise_for_status()
# 自动检测编码
if response.encoding is None:
response.encoding = response.apparent_encoding
# 创建目录
Path(save_path).parent.mkdir(parents=True, exist_ok=True)
# 保存文件
with open(save_path, 'wb') as f:
f.write(response.content)
return True
except Exception as e:
print(f"下载失败:{url} - {str(e)}")
return False
⚠️ 注意事项:
- 必须处理异常(网络超时、404/500错误)
- 二进制文件需用
.content而非.text - 大文件建议分块下载(stream=True参数)
异步下载(aiohttp方式)
适用于批量下载(如1000+图片),通过事件循环实现高吞吐量,显著降低总耗时。
import asyncio
import aiohttp
from pathlib import Path
async def download_async(session, url, save_path):
try:
async with session.get(url, timeout=15) as response:
content = await response.read()
Path(save_path).parent.mkdir(parents=True, exist_ok=True)
with open(save_path, 'wb') as f:
f.write(content)
return True
except Exception as e:
print(f"异步下载失败:{url} - {str(e)}")
return False
async def main(urls):
async with aiohttp.ClientSession() as session:
tasks = [download_async(session, url, f'data/{i}.jpg')
for i, url in enumerate(urls)]
return await asyncio.gather(*tasks)
💡 性能对比实测(1000张2MB图片):
| 方案 | 耗时 | CPU占用 |
|---|---|---|
| requests同步 | 18分23秒 | 12% |
| aiohttp异步 | 2分17秒 | 28% |
断点续传(大文件下载)
针对GB级视频/文档,需支持断点续传避免重复下载。原理是利用HTTP Range头指定下载区间。
def download_resumable(url, save_path, chunk_size=1024*1024):
# 检查已下载部分
downloaded = 0
if Path(save_path).exists():
downloaded = Path(save_path).stat().st_size
headers = {'Range': f'bytes={downloaded}-'}
response = requests.get(url, headers=headers, stream=True)
total_size = int(response.headers.get('content-length', 0)) + downloaded
with open(save_path, 'ab') as f:
for chunk in response.iter_content(chunk_size=chunk_size):
if chunk:
f.write(chunk)
downloaded += len(chunk)
print(f'\r进度:{downloaded/total_size:.1%}', end='')
🔍 技术要点:
- 使用
ab模式追加写入 - 动态计算剩余字节数
- 记录下载位置防止中断后重传
并发优化策略
综合使用连接池、重试机制、代理IP轮换提升下载成功率:
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
session = requests.Session()
retries = Retry(total=5, backoff_factor=0.3,
status_forcelist=[500, 502, 503, 504])
session.mount('http://', HTTPAdapter(max_retries=retries))
session.mount('https://', HTTPAdapter(max_retries=retries))
# 代理池示例
proxies = {
'http': 'http://123.45.67.89:8080',
'https': 'http://98.76.54.32:8080'
}
response = session.get(url, proxies=proxies, timeout=10)
⚡ 实战经验:
- 重试间隔用指数退避(避免瞬间压垮目标服务器)
- 代理IP池需定期验证可用性
- 关键资源使用CDN加速(如图片走七牛云)
数据保存技术方案
python爬虫下载保存不仅指文件存储,更包含结构化数据持久化。我们提供四种主流方案:
CSV/JSON本地存储
适合小规模数据(<10万条),零依赖快速落地。JSON支持嵌套结构,CSV兼容Excel。
# CSV示例
import csv
with open('data.csv', 'w', newline='', encoding='utf-8-sig') as f:
writer = csv.DictWriter(f, fieldnames=['title', 'price', 'date'])
writer.writeheader()
writer.writerow({'title': 'Python教程', 'price': 99, 'date': '2024-06-15'})
# JSON示例
import json
with open('data.json', 'w', encoding='utf-8') as f:
json.dump(data_list, f, ensure_ascii=False, indent=2)
关系型数据库(MySQL)
支持事务与复杂查询,适合结构化数据(订单/用户信息)。使用SQLAlchemy简化ORM操作。
from sqlalchemy import create_engine, Column, Integer, String
from sqlalchemy.orm import sessionmaker, declarative_base
Base = declarative_base()
class Product(Base):
__tablename__ = 'products'
id = Column(Integer, primary_key=True)
title = Column(String(100))
price = Column(Integer)
# 创建表
engine = create_engine('mysql+pymysql://user:pwd@localhost:3306/db')
Base.metadata.create_all(engine)
# 插入数据
Session = sessionmaker(bind=engine)
session = Session()
session.add(Product(title='爬虫实战', price=128))
session.commit()
NoSQL存储(MongoDB)
文档型数据库,适合非结构化数据(日志/JSON片段),水平扩展能力强。
from pymongo import MongoClient
client = MongoClient('mongodb://localhost:27017/')
db = client['crawler_db']
collection = db['products']
# 插入单条
collection.insert_one({'title': '数据挖掘', 'tags': ['python', '爬虫']})
# 批量插入
collection.insert_many(data_list)
云存储集成
大文件(视频/高清图)建议存OSS/S3,通过CDN加速访问。示例:七牛云上传。
from qiniu import Auth, put_file
access_key = 'your_access_key'
secret_key = 'your_secret_key'
bucket_name = 'crawler-files'
q = Auth(access_key, secret_key)
token = q.upload_token(bucket_name, key='video/1.mp4', expires=3600)
ret, info = put_file(token, 'video/1.mp4', 'local_video.mp4')
数据去重策略
避免重复下载是python爬虫下载保存的关键环节,常用方案:
- URL指纹法:对URL做MD5哈希存Redis Set,重复请求自动跳过
- 内容摘要法:提取标题+正文关键字段做SHA1,碰撞时触发人工审核
- 数据库唯一索引:在title字段加UNIQUE约束,插入时自动拦截
反爬对抗实战经验
目标网站常部署反爬机制,需针对性应对。我们整理高频策略与解决方案:
常见反爬手段与绕过方案
| 反爬类型 | 检测特征 | 解决方案 | 效果 |
|---|---|---|---|
| User-Agent检测 | 缺少UA或使用Python默认UA | 轮换真实浏览器UA头,推荐使用fake-useragent库 | ✅ 95%场景有效 |
| 请求频率限制 | 单位时间请求数超阈值 | 随机延迟(1-3秒),添加请求间隔随机因子 | ✅ 关键策略 |
| Cookie验证 | 缺少特定Cookie值 | 首屏请求后自动获取Cookie,使用Session保持 | ✅ 90%场景有效 |
| JS加密参数 | 请求含加密签名(如sign/timestamp) | 逆向JS获取加密逻辑,或使用Selenium模拟登录 | ⚠️ 高难度需逆向知识 |
| IP封禁 | 同一IP高频请求被拉黑 | 代理IP池轮换 + 验证代理存活状态 | ✅ 必备方案 |
验证码应对技巧
当遇到滑块/点选验证码时,可尝试:
- 人工打码平台:如2Captcha、超级鹰,成本约¥0.03/次
- 本地识别:Tesseract OCR + OpenCV预处理(适用于简单字符)
- 模拟操作:使用Selenium的ActionChains拖动滑块
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Chrome()
driver.get('https://example.com/login')
# 模拟拖动
slider = driver.find_element_by_id('slider')
action = ActionChains(driver)
action.click_and_hold(slider).move_by_offset(300, 0).release().perform()
动态渲染处理
对SPA页面(Vue/React渲染),需等待DOM加载完成:
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get('https://example.com')
# 等待特定元素出现
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.product-list')))
# 获取渲染后内容
html = driver.page_source
法律合规与风险规避
技术无罪,但python爬虫下载保存需遵守法律法规。我们整理关键合规要点:
必须遵守的原则
- robots.txt规则:检查
https://目标站/robots.txt,禁止爬取disallow的路径 - 请求频率限制:单IP每秒≤1次请求,避免造成DDoS攻击效果
- 数据用途限制:禁止用于商业竞争(如直接复制商品信息卖货)
- 个人信息保护:不得采集身份证号/手机号等敏感信息
高风险场景警示
| 风险行为 | 法律后果 | 安全替代方案 |
|---|---|---|
| 绕过登录验证抓取私有数据 | 违反《刑法》第285条(非法获取计算机信息系统数据) | 仅抓取公开数据,或通过官方API申请授权 |
| 高频请求导致网站宕机 | 可能构成破坏计算机信息系统罪 | 部署限流策略,使用代理池分散压力 |
| 爬取后直接转售原始数据 | 侵犯著作权/商业秘密 | 仅使用聚合分析结果,不传播原始数据 |
合规实践建议
我们推荐建立python爬虫下载保存合规检查清单:
- ✅ 启动前检查robots.txt
- ✅ 请求间隔≥2秒
- ✅ 添加Contact邮箱到User-Agent
- ✅ 对敏感字段做脱敏处理(如手机号显示为138****1234)
- ✅ 定期清理缓存数据,保留期≤30天
高频问题答疑
整理自开发者社区最常搜索的10个问题,提供深度解答:
中文乱码如何解决?
典型现象:网页显示为æç±Python。原因及解决方案:
- 编码未正确识别:使用
response.apparent_encoding自动检测 - 保存时未指定编码:写入文件用
encoding='utf-8-sig' - HTML声明缺失:检查网页源码是否有
<meta charset="utf-8">
# 正确处理编码
response = requests.get(url)
response.encoding = response.apparent_encoding # 关键步骤
print(response.text) # 此时中文正常显示
如何抓取JS动态加载内容?
分三步定位动态数据源:
- 浏览器F12:Network→XHR过滤,找到真实API请求
- 直接请求API:若返回JSON数据,用
json.loads()解析 - 模拟浏览器:当API含加密参数时,用Selenium获取渲染后HTML
💡 实战案例:抓取某电商商品评论
# 步骤1:观察Network找到API
# https://comment.dianping.com/comment/list?itemId=12345
# 步骤2:构造请求(需添加Cookie)
headers = {
'Cookie': 'ctoken=xxx; ...',
'User-Agent': 'Mozilla/5.0 ...'
}
response = requests.get(api_url, headers=headers)
comments = response.json()['comments']
如何高效保存大量图片?
推荐方案:异步下载 + 分类存储 + 命名规范
import os
import hashlib
from pathlib import Path
def save_image(url, base_dir):
# 生成唯一文件名(MD5摘要)
filename = hashlib.md5(url.encode()).hexdigest() + '.jpg'
save_path = Path(base_dir) / filename
# 创建子目录(按日期分层)
date_dir = datetime.now().strftime('%Y%m%d')
Path(base_dir, date_dir).mkdir(parents=True, exist_ok=True)
# 下载并保存
response = requests.get(url, timeout=15)
with open(Path(base_dir) / date_dir / filename, 'wb') as f:
f.write(response.content)
return str(save_path)
📁 目录结构示例:
images/
├── 20240615/
│ ├── a1b2c3d4e5f6.jpg
│ └── ...
├── 20240616/
│ └── ...
└── ...
如何提升爬虫整体性能?
从三个维度优化:
| 维度 | 优化方案 | 预期提升 |
|---|---|---|
| 网络层 | 启用HTTP/2、复用连接、启用Gzip | 下载速度+40% |
| 解析层 | 使用lxml替代BeautifulSoup | 解析速度+300% |
| 存储层 | 批量插入数据库(batch_size=100) | 写入速度+200% |
🔥 终极技巧:使用Scrapy框架自动集成上述优化
# settings.py配置
BOT_NAME = 'crawler'
CONCURRENT_REQUESTS = 16
DOWNLOAD_DELAY = 0.5
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.gzip.GzipMiddleware': 543,
}
网友还关心
爬虫需要学习哪些前置知识?
基础:Python语法、HTTP协议、HTML/CSS基础、正则表达式
进阶:JavaScript基础、数据库原理、分布式系统概念
如何处理登录态?
1. 使用Session自动管理Cookie
2. 对于复杂登录(如扫码),用Selenium模拟操作
3. 关键凭证(如token)加密存储
爬虫会泄露IP吗?
会!直接请求目标站可能暴露真实IP。解决方案:
• 使用代理池(推荐付费稳定IP)
• 配置Tor匿名网络(适合低频需求)