Python爬虫制作教程

Python爬虫制作教程

本教程系统梳理Python网络爬虫开发全流程,覆盖从基础原理到工程实践的完整知识体系。作为当前互联网数据采集的主流技术栈,Python凭借其简洁语法、强大生态和活跃社区,成为自动化采集数据的首选语言。本教程面向初学者与进阶开发者,提供真实项目场景下的可复用解决方案。

爬虫技术本质是模拟浏览器行为,向目标网站发起HTTP请求并解析返回内容,提取所需结构化数据。随着互联网数据量爆炸式增长,企业对高质量数据抓取能力的需求持续上升。从SEO分析、竞品监控到舆情监测、学术研究,Python爬虫已成为数据驱动决策的关键前置环节。

学习本教程后,您将能够:

本教程强调“工程思维”而非简单代码演示,所有示例均来自真实项目沉淀。在数据采集过程中,网站结构变化频繁、反爬策略升级迅速,我们不仅提供技术方案,更注重培养解决未知问题的方法论。建议学习者配合Chrome DevTools进行抓包分析,逐步建立技术直觉。

基础架构解析

任何爬虫系统都由四大核心模块构成:请求调度、数据解析、数据存储、异常处理。各模块协同工作形成完整数据流:调度器发起请求 → 响应内容经解析器提取 → 结构化数据存入数据库 → 异常数据进入重试队列。理解此架构是构建可维护爬虫系统的基石。

HTTP请求原理

HTTP协议是爬虫与服务器通信的基础。典型GET请求流程如下:

  1. 客户端建立TCP连接(三次握手)
  2. 发送HTTP请求报文(包含Method、URL、Headers、Body)
  3. 服务器处理请求并返回状态码(200/404/500等)及响应体
  4. 客户端解析响应内容,关闭连接

实际开发中,headers字段对爬虫成功率影响显著。常见关键字段包括:User-Agent(标识客户端类型)、Referer(来源页面)、Cookie(会话凭证)。未正确设置这些字段可能导致403禁止访问。

Requests库
Urllib库
异步请求

Requests库实战

Requests是Python最流行的HTTP库,语法简洁且功能完善。安装命令:pip install requests。

import requests
# 设置请求头模拟浏览器
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Referer': 'https://www.example.com',
'Cookie': 'session_id=abc123'
}
# 发送GET请求
response = requests.get('https://www.example.com', headers=headers)
# 处理响应
if response.status_code == 200:
  print("内容长度:", len(response.text))
  print("编码方式:", response.encoding)
  # 自动解码为Unicode
  html_content = response.text

Requests支持会话保持(Session)、代理设置、超时控制等高级功能。对于需要登录的网站,使用Session对象可自动管理Cookie: sess = requests.Session(); sess.get('https://...')。

Urllib库详解

Urllib是Python内置HTTP库,无需额外安装,适合轻量级需求。其模块化设计包含:urllib.request(请求处理)、urllib.parse(URL解析)、urllib.error(异常处理)。

from urllib import request, error
import ssl
# 忽略SSL证书验证(应对HTTPS网站)
ssl._create_default_https_context = ssl._create_unverified_context
# 构建请求对象
req = request.Request(
'https://www.example.com',
headers={
'User-Agent': 'Mozilla/5.0...'
}
)
try:
  response = request.urlopen(req, timeout=5)
  html = response.read().decode('utf-8')
except error.HTTPError as e:
  print("HTTP错误:", e.code)
except error.URLError as e:
  print("URL错误:", e.reason)

Urllib优势在于完全控制请求细节,但代码冗长。建议仅在特殊需求(如自定义协议)时使用。

异步请求优化

同步请求在等待响应时阻塞线程,影响效率。使用aiohttp结合async/await可实现高并发: pip install aiohttp。

import asyncio
import aiohttp
async def fetch(session, url):
  async with session.get(url) as response:
    return await response.text()
async def main():
  urls = [
'https://www.example.com/1',
'https://www.example.com/2',
'https://www.example.com/3'
]
  async with aiohttp.ClientSession() as session:
    tasks = [fetch(session, url) for url in urls]
    results = await asyncio.gather(*tasks)
    return results
# 运行异步任务
asyncio.run(main())

实测显示,异步请求在抓取100个页面时耗时仅为同步方式的1/5,适合大规模数据采集场景。

HTML解析技术

网页数据以HTML格式返回,需通过解析器提取目标内容。主流解析方式包括:
1. 正则表达式:适合简单结构,但易受HTML嵌套影响
2. BeautifulSoup:基于树结构,支持多种解析器
3. lxml:C语言实现,速度最快
4. XPath:路径表达式,适合复杂定位

BeautifulSoup深度应用

安装:pip install beautifulsoup4 lxml

from bs4 import BeautifulSoup
# 创建解析对象
soup = BeautifulSoup(html, 'lxml')
# 查找单个元素
title = soup.find('h1', class_='main-title')
# 查找所有元素
links = soup.find_all('a', href=True)
# CSS选择器
items = soup.select('div.article > h2.title')
# 提取文本和属性
for item in items:
  title_text = item.get_text(strip=True)
  link_url = item.find_parent('a')['href']

注意:处理中文网页时需指定from_encoding='utf-8'避免乱码。对于动态加载内容,需结合Selenium或分析XHR请求。

核心工具链

构建生产级爬虫需整合多款工具协同工作。本节介绍必备工具及其配置要点,帮助建立完整开发环境。

浏览器自动化工具

当目标网站采用JavaScript动态渲染时,需使用Selenium模拟真实用户行为:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
# 配置无头模式
options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
driver = webdriver.Chrome(options=options)
driver.get('https://www.example.com')
# 等待元素加载
driver.implicitly_wait(10)
content = driver.page_source
driver.quit()

关键配置项:
• --headless:无界面模式,节省资源
• --window-size=1920,1080:设置视口尺寸
• user-agent=...:自定义UA字符串
• --proxy-server=http://ip:port:配置代理

数据存储方案

根据数据规模选择存储介质:

存储方式 适用场景 性能特点 示例代码
CSV文件 小规模数据(<10万条) 读写快,易共享 import pandas as pd; df.to_csv('data.csv', index=False)
JSON文件 结构化数据交换 跨语言兼容,体积大 import json; json.dump(data, open('data.json', 'w'))
SQLite数据库 中等规模数据(<100万条) 零配置,支持SQL import sqlite3; conn.execute('INSERT INTO ...')
MongoDB 非结构化数据 高扩展性,文档存储 collection.insert_one(document)

代理IP池构建

为避免IP被封,需构建动态代理池:

import random
class ProxyPool:
  def __init__(self):
    self.proxies = []
    self.load_proxies()

  def load_proxies(self):
    # 从API或文件加载代理列表
    self.proxies = [
      'http://112.85.164.111:9999',
      'http://183.129.141.21:12345'
    ]

  def get_proxy(self):
    return random.choice(self.proxies)

生产环境需加入代理健康检查机制,定期移除失效代理。推荐使用开源项目scrapy-proxies或自建Redis存储池。

反爬策略破解

主流网站反爬手段日益复杂,需针对性应对。本节分析高频反爬机制及解决方案,所有方案均经过生产环境验证。

IP封禁应对

当单IP访问频率过高时,服务器返回403错误。解决方案包括:

  1. 降低请求频率:在请求间添加随机延迟(1-5秒)
  2. 代理IP轮换:每5-10次请求切换IP
  3. 模拟人类行为:随机滚动页面、模拟鼠标移动
import time
import random
def safe_request(url):
  for i in range(3):
    try:
      time.sleep(random.uniform(1.0, 3.0))
      response = requests.get(url, headers=headers, proxies={'http': get_proxy()})
      return response
    except Exception as e:
      print("请求失败:", e)
      if i == 2:
        raise

验证码识别

常见验证码类型及解决方案:

验证码类型应对方案

类型 识别工具 准确率 成本
数字字母验证码 Tesseract OCR 95%+ 免费开源
滑动拼图 OpenCV模板匹配 85% 需图像处理知识
点选验证码 第三方打码平台 99% ¥0.03/次
极验滑块 Selenium+坐标计算 70% 需模拟人类轨迹

极验滑块破解关键点:使用ActionChains模拟人类移动轨迹(先加速后减速),添加随机抖动(±2像素),滑动后停留0.5秒触发验证。

# 模拟人类滑动轨迹
action = webdriver.ActionChains(driver)
action.click_and_hold(slider).perform()
# 添加随机轨迹点
x_offsets = [2, 4, 6, 8, 10, 8, 6, 4, 2, 0]
y_offsets = [0, 0, -1, 1, 0, 0, 1, -1, 0, 0]
for x, y in zip(x_offsets, y_offsets):
  action.move_by_offset(x, y).perform()
  time.sleep(random.uniform(0.05, 0.15))
action.release().perform()

JS混淆对抗

当页面源码显示内容与实际渲染内容不符时,可能涉及JS动态生成。解决方案:

  1. 分析XHR请求:在DevTools的Network标签中查找真实数据接口
  2. 逆向JS:提取加密参数生成逻辑(如加密Token)
  3. 使用Playwright:直接获取渲染后DOM
XHR分析
加密破解

XHR请求提取技巧

步骤:
1. 打开目标网站,按F12打开开发者工具
2. 切换到Network标签,筛选XHR请求
3. 触发页面操作(如搜索、翻页)
4. 观察请求URL、Headers、Response结构
5. 复制Request URL,直接用requests请求

典型场景:某电商网站商品列表页,翻页时发送POST请求:
https://example.com/api/products?page=2&sort=hot
响应为JSON格式,包含商品ID、名称、价格等字段,无需解析HTML。

加密参数破解

当请求参数包含加密字段(如token=abc123),需定位JS加密逻辑:
1. 在全局搜索加密字段名(如token)
2. 设置断点调试,观察参数生成过程
3. 用Python复现加密算法

常见加密方式:
• MD5/SHA:直接调用hashlib
• Base64:使用base64库
• AES/RSA:需特定库(如pycryptodome)
• 自定义算法:逆向JS代码

import hashlib
def generate_token(data):
  # 模拟JS中的MD5加密
  md5 = hashlib.md5()
  md5.update(data.encode('utf-8'))
  return md5.hexdigest()

实战项目:电商价格监控系统

本项目实现电商商品价格监控,包含以下功能模块:

项目架构设计

第1阶段:数据采集
• 使用Selenium模拟搜索行为
• 提取商品列表URL(避免JS加载延迟)
• 为每个商品创建独立爬虫任务
第2阶段:数据处理
• 清洗价格字段(移除¥符号、空格)
• 转换库存状态(有货/缺货)
• 提取商品评论数(区分好评/差评)
第3阶段:告警系统
• 定期比对历史价格
• 触发阈值时发送邮件(SMTP)
• 记录告警日志到数据库

核心代码实现

import re
import smtplib
from email.mime.text import MIMEText
from email.header import Header

class PriceMonitor:
  def __init__(self):
    self.db = SQLiteDB('prices.db')
    self.threshold = 199 # 价格告警阈值

  def parse_price(self, html):
    # 提取价格文本
    price_match = re.search(r'¥\s*(\d+\.?\d*)', html)
    if price_match:
      return float(price_match.group(1))
    return None

  def send_alert(self, product_name, current_price):
    if current_price and current_price >= self.threshold:
      return
    
    # 构建邮件内容
    msg = MIMEText(f'商品:{product_name}
当前价格:¥{current_price}
低于告警阈值!'
)
    msg['Subject'] = Header('价格告警', 'utf-8')
    
    # 发送邮件
    smtp = smtplib.SMTP('smtp.gmail.com', 587)
    smtp.starttls()
    smtp.login('your_email@gmail.com', 'your_password')
    smtp.sendmail('your_email@gmail.com', 'target_email@example.com', msg.as_string())
    smtp.quit()

数据可视化

使用matplotlib绘制价格趋势图:

import matplotlib.pyplot as plt
import pandas as pd

# 从数据库读取价格历史
df = pd.read_sql_query('SELECT date, price FROM prices WHERE product_id=123', db.conn)
df['date'] = pd.to_datetime(df['date'])

# 绘制趋势图
plt.figure(figsize=(10, 6))
plt.plot(df['date'], df['price'], marker='o', linewidth=2)
plt.title('商品价格趋势')
plt.xlabel('日期')
plt.ylabel('价格(元)')
plt.grid(True)
plt.tight_layout()
plt.savefig('price_trend.png')

最终输出包含:
• 实时价格监控面板
• 价格变动曲线图
• 邮件告警记录表
• 数据库存储的完整历史数据

常见问题解答

法律风险
性能优化
运维管理

性能调优技巧

生产环境爬虫需兼顾效率与稳定性,关键优化点:

优化方向 具体措施 预期效果
请求并发 使用aiohttp+asyncio,线程池管理 吞吐量提升5-10倍
内容缓存 Redis缓存已抓取页面 重复请求响应时间<10ms
资源压缩 启用Gzip压缩传输 减少50%带宽消耗
内存管理 分页处理大文件,及时释放资源 内存占用降低70%

系统运维要点

长期运行爬虫需关注:

  • 日志监控:使用logging记录关键事件
  • 失败重试:指数退避算法(1s→2s→4s→8s)
  • 健康检查:定期向监控服务发送心跳
  • 资源清理:自动删除7天前的旧数据
import logging
import time

# 配置日志
logging.basicConfig(
filename='crawler.log',
level=logging.INFO,
format='%(asctime)s - %(levelname)s - %(message)s'
)

def retry_with_backoff(func, max_retries=5):
  for attempt in range(max_retries):
    try:
      return func()
    except Exception as e:
      delay = 2 ** attempt
      logging.warning("请求失败,%d秒后重试:", delay, exc_info=e)
      time.sleep(delay)
      if attempt == max_retries - 1:
        raise