Python爬虫全套教程合集|系统化学习路径与实战指南
本合集面向所有对网络数据采集感兴趣的开发者,无论您是零基础入门者,还是已有一定编程经验的工程师,都能在此找到清晰的学习路径与实用的技术方案。
网站以《Python爬虫全套教程合集》为核心主线,深入浅出地讲解网络爬虫的完整知识体系。从最基础的HTTP协议原理、HTML结构解析,到进阶的动态渲染页面处理、反爬机制对抗、分布式架构设计,再到生产环境的部署监控与异常处理,形成闭环式知识链。
在当前数据驱动决策的时代,高质量数据采集能力已成为数据分析师、AI训练师、SEO优化师、市场研究员等岗位的必备技能。本合集不仅注重技术实现,更强调工程化思维与业务场景适配能力的培养。
我们坚持“原理先行,实战跟进”的教学理念:每个技术点均配有原理图解与真实案例,避免“知其然不知其所以然”的学习困境;所有代码示例均经过实际项目验证,可直接复用或二次开发。
特别说明:本合集不依赖任何第三方平台服务,不涉及任何违反《网络安全法》《数据安全法》的行为,所有技术讲解均严格限定在合法合规的数据采集范畴内,倡导“技术向善”的工程师文化。
《Python爬虫全套教程合集》知识图谱
整个知识体系分为7大模块:
- ① 基础准备:HTTP协议、HTML/CSS/JS基础、正则表达式、编码处理
- ② 核心框架:Requests库、BeautifulSoup解析、lxml XPath、Selenium自动化
- ③ 高级进阶:Scrapy框架、中间件机制、Pipeline处理、分布式架构
- ④ 反爬对抗:User-Agent轮换、IP代理池、JS逆向、验证码识别、行为模拟
- ⑤ 数据存储:MySQL、MongoDB、Redis、Elasticsearch、文件存储
- ⑥ 工程实践:日志监控、错误重试、并发控制、任务调度、性能优化
- ⑦ 项目实战:电商比价、舆情监控、招聘数据、新闻聚合、图片素材库
每个模块均包含“原理讲解→代码实现→常见错误→优化建议→扩展阅读”五层递进内容,确保学习者不仅会写代码,更能理解代码背后的逻辑,并具备独立解决复杂问题的能力。
核心模块详解|从基础到高阶
Requests:HTTP请求的瑞士军刀
Requests是Python中最流行的HTTP客户端库,以其简洁优雅的API设计著称。它封装了底层socket通信细节,使开发者只需关注业务逻辑而非协议细节。
在爬虫场景中,Requests主要用于发送GET/POST请求、处理Cookie、设置Headers、处理重定向等。其核心优势在于:代码可读性强、错误处理完善、支持连接池与超时控制。
以下是一个典型的数据请求示例:
import requests
import time
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
'Accept-Encoding': 'gzip, deflate, br'
}
# 设置会话对象,自动管理Cookie
session = requests.Session()
session.headers.update(headers)
try:
# 发送GET请求
response = session.get(
'https://www.example.com/api/data',
params={'page': 1, 'size': 20}, # URL参数
timeout=10 # 超时设置(秒)
)
# 检查响应状态
response.raise_for_status()
# 解析JSON数据
data = response.json()
# 处理分页逻辑
while data.get('has_next'):
time.sleep(1) # 避免请求过快
next_url = data.get('next_url')
response = session.get(next_url, timeout=10)
response.raise_for_status()
data = response.json()
except requests.exceptions.RequestException as e:
print(f'请求失败:{e}')
注意:上述代码中使用了Session对象复用TCP连接,显著提升连续请求效率;通过timeout参数防止请求无限挂起;通过raise_for_status()确保非2xx状态码触发异常。
进阶技巧包括:
• 使用适配器(HTTPAdapter)配置连接池大小
• 实现自动重试机制(Retry模块)
• 处理HTTPS证书验证问题(verify参数)
• 代理IP动态切换(proxies参数)
A:Requests默认使用ISO-8859-1编码解析响应内容,遇到中文可能乱码。解决方案:
- 优先检查响应头Content-Type中的charset字段
- 若响应头未指定编码,尝试用chardet检测(需额外安装)
- 手动指定编码:
response.encoding = 'utf-8' - 对于已编码的二进制响应,用
response.content.decode('utf-8')
BeautifulSoup:HTML结构的解析利器
BeautifulSoup是Python中功能强大的HTML/XML解析库,配合lxml或html.parser解析器,可高效提取网页中所需数据。其核心价值在于:API设计人性化、支持多种解析器、容错性强。
在爬虫流程中,BeautifulSoup通常用于解析Requests获取的HTML内容,通过标签名、class、id、属性选择器等方式精准定位目标元素。
以下为典型解析示例:
from bs4 import BeautifulSoup
import requests
# 获取HTML内容
html = requests.get('https://www.example.com/news').text
# 创建解析器对象(推荐使用lxml)
soup = BeautifulSoup(html, 'lxml')
# 方法1:通过标签名查找
articles = soup.find_all('article', class_='news-item')
# 方法2:通过CSS选择器
titles = soup.select('.news-list h3.title a')
# 方法3:通过属性查找
links = soup.find_all('a', href=lambda x: x and '/article/' in x)
# 提取数据
for article in articles:
title = article.find('h3', class_='title').get_text(strip=True)
date = article.find('span', class_='date').get_text(strip=True)
link = article.find('a')['href']
print(f'{title}|{date}|{link}')
注意:BeautifulSoup本身不解析JavaScript,仅处理静态HTML。对于动态加载内容,需结合Selenium或分析XHR请求。
性能优化建议:
• 对于大型文档,优先使用lxml解析器(C语言实现,速度比html.parser快3-10倍)
• 避免重复解析同一HTML
• 使用find_next_sibling()等方法减少DOM遍历层级
A:现代前端框架常生成动态class(如class="item_abc123"),可通过以下方式解决:
- 使用正则匹配部分固定特征:
soup.select('div[class*="item_"]') - 通过兄弟节点定位:
target.find_previous_sibling('h4').get_text() - 分析数据接口:直接请求前端调用的API(推荐)
- 使用CSS选择器属性选择器:
[class^="item_"][class$="active"]
Selenium:浏览器自动化测试利器
Selenium是一个用于Web应用程序测试的工具,支持模拟真实用户操作(点击、滚动、表单提交等)。在爬虫场景中,主要用于处理JavaScript动态渲染页面(SPA)。
核心优势:支持所有主流浏览器、可执行JS代码、等待元素加载完成。但需注意:Selenium资源消耗大、速度较慢,应仅在必要时使用。
以下为典型用法:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
# 配置无头模式(后台运行)
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
# 初始化浏览器
driver = webdriver.Chrome(options=chrome_options)
try:
# 访问页面
driver.get('https://www.example.com/dynamic')
# 等待关键元素加载完成
wait = WebDriverWait(driver, 15)
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.content-box')))
# 模拟滚动到底部(触发懒加载)
driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
time.sleep(2)
# 获取渲染后的内容
html = driver.page_source
print(html[:1000])
# 提取数据
items = driver.find_elements(By.CSS_SELECTOR, '.news-item')
for item in items:
title = item.find_element(By.TAG_NAME, 'h3').text
link = item.find_element(By.TAG_NAME, 'a').get_attribute('href')
print(f'{title}|{link}')
finally:
driver.quit()
重要提醒:
• 必须安装对应浏览器驱动(ChromeDriver等)
• 使用显式等待(WebDriverWait)而非固定sleep
• 避免频繁启动/关闭浏览器,复用driver实例
A:网站常通过navigator.webdriver检测自动化工具,解决方案:
- 添加实验性参数:
chrome_options.add_experimental_option('excludeSwitches', ['enable-automation']) - 覆盖navigator.webdriver:
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'}) - 使用undetected-chromedriver库(自动处理检测)
Scrapy:企业级爬虫框架
Scrapy是Python中最成熟的爬虫框架,采用异步IO模型(Twisted框架),支持高并发、自动重试、中间件扩展等企业级特性。其核心架构包括:Engine(引擎)、Scheduler(调度器)、Downloader(下载器)、Spiders(爬虫)、Item Pipelines(数据管道)。
常用工具链|提升开发效率
开发辅助工具
- • Postman:API调试首选,可模拟任意HTTP请求,查看响应结构与Headers
- • Chrome DevTools:网络面板分析XHR请求,元素检查器定位目标DOM
- • Scrapy-Shell:交互式调试爬虫代码,即时查看Selector匹配结果
- • BrowserMob Proxy:捕获HTTPS流量,分析加密参数生成过程
- • mitmproxy:中间人代理工具,支持脚本篡改请求/响应
数据处理工具
- • Pandas:结构化数据清洗、统计、导出Excel/CSV
- • NumPy:数值计算加速,处理大规模数组
- • OpenPyXL:Excel文件写入(支持格式设置)
- • jsonpath-ng:JSON数据提取(类似XPath)
- • PyMySQL:MySQL数据库操作(替代原生MySQLdb)
部署运维工具
- • Supervisor:进程守护,自动重启异常退出的爬虫
- • Celery:分布式任务队列,支持定时任务与异步处理
- • Docker:容器化部署,解决环境依赖问题
- • Grafana + Prometheus:实时监控爬虫运行状态
- • Logstash + Elasticsearch:日志集中管理与分析
实战案例|从简单到复杂
案例1:新闻聚合爬虫(基础版)
目标:抓取主流新闻网站标题、发布时间、来源、链接
技术栈:Requests + BeautifulSoup + Pandas
步骤说明:
- 分析目标网站结构(以新华网为例)
- 定位新闻列表容器(ul.news-list)
- 提取每条新闻的标题、链接、时间
- 处理分页逻辑(页码参数变化)
- 清洗数据并导出CSV
import pandas as pd
import requests
from bs4 import BeautifulSoup
from datetime import datetime
def crawl_news():
all_data = []
for page in range(1, 6): # 抓取前5页
url = f'https://www.xinhuanet.com/news/{page}.html'
headers = {'User-Agent': 'Mozilla/5.0...'}
resp = requests.get(url, headers=headers)
soup = BeautifulSoup(resp.text, 'lxml')
news_items = soup.select('ul.news-list li')
for item in news_items:
title_tag = item.select_one('h3 a')
date_tag = item.select_one('.time')
if title_tag and date_tag:
all_data.append({
'title': title_tag.get_text(strip=True),
'link': title_tag['href'],
'date': date_tag.get_text(strip=True),
'source': '新华网',
'crawl_time': datetime.now().strftime('%Y-%m-%d %H:%M:%S')
})
# 保存为CSV
df = pd.DataFrame(all_data)
df.to_csv('news_data.csv', index=False, encoding='utf-8-sig')
print(f'共抓取 {len(all_data)} 条新闻')
crawl_news()
案例2:电商比价系统(进阶版)
目标:监控京东/天猫商品价格变化,设置价格预警
技术栈:Requests + Selenium + MySQL + Flask
核心挑战:
- • 商品详情页为动态加载(需Selenium)
- • 价格包含隐藏字段(需JS逆向)
- • 需处理登录态(Cookie复用)
- • 高频请求需IP轮换
解决方案:
- 用Selenium登录账号,保存Cookie至本地
- 分析价格接口(如
/item/xxx.html?skuId=xxx) - 解析响应中的JSON数据(含历史价格曲线)
- 将数据存入MySQL(字段:sku_id, price, history_prices, timestamp)
- Flask提供Web界面展示价格趋势
案例3:舆情监控平台(企业级)
目标:实时采集微博、公众号、新闻评论,生成情感分析报告
技术栈:Scrapy + Redis + Kafka + NLP + Django
架构设计:
| 模块 | 功能 | 技术实现 |
|---|---|---|
| 数据采集层 | 微博/公众号/新闻 | Scrapy+中间件+IP池 |
| 消息队列 | 数据缓冲 | Kafka主题:raw_data |
| 数据处理 | 清洗+分词 | Celery任务+jieba分词 |
| 存储层 | 原始数据+处理后 | ES(搜索)+MongoDB(日志) |
| 应用层 | 可视化+预警 | Django+ECharts |
特别说明:舆情数据涉及敏感内容,所有采集行为需符合《网络信息内容生态治理规定》,仅用于学术研究与企业自用,不对外提供数据服务。
反爬对策|实战对抗策略
常见反爬手段与应对方案
| 反爬类型 | 原理 | 应对策略 | 代码示例 |
|---|---|---|---|
| User-Agent检测 | 检查请求头UA字段 | 轮换UA列表+随机选择 | headers['User-Agent'] = random.choice(UA_LIST) |
| IP频率限制 | 同一IP请求次数超限 | 代理IP池+自动切换 | proxies={'http': 'http://ip:port'} |
| Cookie校验 | 需特定Cookie才能访问 | 登录态复用+自动刷新 | session.cookies.update(cookies) |
| JS加密参数 | 请求参数通过JS动态生成 | JS逆向/请求分析 | 定位加密函数调用点 |
| 行为验证 | 鼠标轨迹/操作时序检测 | 模拟人类操作(Selenium) | 随机延时+鼠标移动 |
代理IP池构建指南
代理IP池是应对IP封禁的核心组件,需满足:高可用性、自动验证、动态更新。
实现步骤:
- 采集免费代理(如快代理、云代理)
- 验证代理可用性(测试连接速度、匿名度)
- 存储到Redis(SortedSet,score=延迟)
- 爬虫随机取用,失败则标记降级
- 定时刷新(每30分钟)
import redis
import random
import requests
class ProxyPool:
def __init__(self):
self.r = redis.Redis(host='localhost', port=6379, db=0)
def add_proxy(self, proxy, score=100):
self.r.zadd('proxies', {proxy: score})
def get_proxy(self):
# 获取高质量代理(score高)
proxies = self.r.zrevrange('proxies', 0, 99)
if proxies:
return random.choice(proxies).decode()
return None
def validate_proxy(self, proxy):
try:
start = time.time()
requests.get('https://www.baidu.com',
proxies={'http': f'http://{proxy}'},
timeout=5)
cost = time.time() - start
if cost < 2:
self.r.zadd('proxies', {proxy: max(100, 100 - int(cost*50))})
return True
except:
self.r.zrem('proxies', proxy)
return False
JS逆向入门技巧
当请求参数被JS加密时,可通过以下步骤分析:
- 在浏览器开发者工具Network中筛选XHR请求
- 右键请求→Copy as cURL,粘贴到Postman测试
- 定位加密参数(如
ts=xxx&sign=xxx) - 全局搜索sign参数来源(Ctrl+Shift+F)
- 下断点调试(Sources→XHR Breakpoints)
- 复制加密函数,在Node.js中复现逻辑
典型案例:某视频网站的video_id加密、某电商的token生成。实际项目中,建议优先分析前端API调用,往往可直接获取原始数据。
部署运维|生产环境落地
生产环境部署流程
从开发到上线需经历:环境隔离→自动化部署→监控告警→日志分析。
- ① 使用Docker构建一致环境:
FROM python:3.10-slim
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["scrapy", "crawl", "news_spider"] - ② Supervisor守护进程:
[program:spider]
command=python /app/main.py
autorestart=true
stdout_logfile=/var/log/spider.log - ③ 定时任务(Cron):
0 8 * * * cd /opt/spider && scrapy crawl daily - ④ Prometheus监控指标:
• 爬取成功率(success_rate)
• 平均响应时间(response_time_avg)
• 失败IP数量(failed_ips)
错误重试与降级策略
生产环境必须处理异常情况:
- • 网络超时:重试3次+指数退避(1s→2s→4s)
- • 验证码弹出:切换代理IP+人工复核
- • 数据格式变更:正则兜底+人工审核队列
- • 数据库连接失败:本地缓存+异步重连
from tenacity import retry, stop_after_attempt, wait_exponential
@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=1, max=10))
def fetch_with_retry(url):
response = requests.get(url, timeout=10)
response.raise_for_status()
return response
常见问题FAQ|高频疑问解答
Q1:爬虫会违法吗?
A:合法边界在于:
• 是否遵守robots.txt协议
• 是否超过网站服务器承载能力
• 是否侵犯用户隐私或数据安全
• 是否用于商业目的未获授权
建议:仅抓取公开数据,控制请求频率,不绕过技术防护措施。
Q2:为什么爬取速度越来越慢?
A:可能原因:
• 目标网站增加了反爬机制
• 本地网络带宽不足
• 代理IP质量下降
• 未复用TCP连接(使用Session)
解决方案:分析响应时间分布,定位瓶颈环节。
Q3:如何处理登录态?
A:推荐方案:
① 使用Session自动管理Cookie
② 将登录态存储到Redis(key: user_session, value: cookies)
③ 定时刷新(登录态过期前30分钟)
④ 失败时自动触发登录流程
注意:避免硬编码密码,使用环境变量或加密存储。
Q4:数据量太大内存爆了怎么办?
A:解决方案:
• 分批处理(每次抓取100页)
• 使用生成器(yield)逐条处理
• 数据直接写入数据库(不暂存内存)
• 使用pandas的chunksize参数分块读写
• 采用流式JSON(ijson库)