🌐 官网:www.xservx.com 备案号:蜀ICP备2026035467号-3

Python3网络爬虫实战

① 入门导引:构建第一只爬虫

🐍 什么是网络爬虫?

网络爬虫(Web Crawler)是一种自动抓取互联网信息的程序,其本质是模拟浏览器行为,向目标网站发起HTTP请求,并解析返回的HTML内容,提取所需数据。在Python生态中,爬虫技术已发展为一门融合网络协议、HTML解析、数据处理与工程部署的综合技能。

与搜索引擎爬虫不同,Python3网络爬虫实战更强调:
• 主动定制化采集策略
• 精准数据提取逻辑
• 高效并发处理能力
• 合规性与反检测对抗能力

🔧 必备环境准备

建议使用Python 3.8+版本,推荐安装以下基础库:

  • requests:HTTP请求发送
  • beautifulsoup4 + lxml:HTML解析
  • urllib3:底层HTTP客户端(可选)
  • fake-useragent:User-Agent伪造
  • pyquery:类似jQuery的解析器

安装示例:

pip install requests beautifulsoup4 lxml fake-useragent

🚀 第一个最小可行爬虫(MVP)

目标:抓取百度首页标题

import requests
from bs4 import BeautifulSoup
url = 'https://www.baidu.com'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}
resp = requests.get(url, headers=headers)
resp.encoding = 'utf-8'
soup = BeautifulSoup(resp.text, 'lxml')
title = soup.title.string
print(f'页面标题:{title}')

⚠️ 注意:百度对非浏览器请求返回空内容或重定向,需严格模拟真实浏览器行为。

🔍 常见初学者误区

  • 直接复制浏览器请求URL但未带完整Headers:导致403/400错误
  • 忽略Cookie与Session管理:登录态丢失,无法访问需认证页面
  • 未处理编码问题:中文乱码(应使用resp.apparent_encoding)
  • 未做异常捕获:网络中断时程序崩溃

② 核心技术栈详解

📡 HTTP请求深度剖析

Python3网络爬虫实战中,requests库是基石。但仅会调用get()远远不够。需掌握:

  • 请求参数构造:query、body(form/json)、files上传
  • 会话保持:Session对象自动管理Cookie
  • 超时与重试机制:避免长时间挂起
  • SSL证书验证绕过(仅测试环境)
session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0 ...'})
session.cookies.set('sessionid', 'abc123', domain='.example.com')
response = session.post(
  'https://api.example.com/login',
  data={'username': 'user', 'password': 'pass'},
  timeout=5,
  allow_redirects=True
)

🧩 HTML解析进阶

解析方式对比:

方式速度容错性适用场景
html.parser中高小型项目
lxml快中高性能需求
html5lib慢极高结构混乱页面

BeautifulSoup使用技巧:

  • 使用find_all('a', href=re.compile(r'/item/'))模糊匹配
  • 组合选择器:soup.select('div.content > ul.list li.active a')
  • 提取文本:.get_text(strip=True)避免多余空白

🔍 XPath:精准定位利器

当页面结构复杂时,XPath比CSS选择器更强大。典型用法:

from lxml import etree
tree = etree.HTML(resp.text)
titles = tree.xpath('//div[@class="article"]//h2/text()')
links = tree.xpath('//a[contains(@href, "detail")]/@href')

高频XPath表达式:

  • //div[@id='main']:ID选择
  • //ul/li[1]/a:第1个子元素
  • //a[re:test(@href, '\d{8}')]`:正则匹配(需注册命名空间)
  • //script[contains(text(),'window.__INITIAL_STATE__')]:提取内联JS

③ 三大核心工具对比

Selenium
Playwright
Pyppeteer

🧪 Selenium自动化测试框架

适用于动态加载页面(如无限滚动、AJAX渲染),需配合浏览器驱动(ChromeDriver等)。

典型用法:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get('https://dynamic.example.com')
wait = WebDriverWait(driver, 10)
# 等待元素加载
element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.item')))
items = driver.find_elements(By.CSS_SELECTOR, '.item')
for item in items:
    print(item.text)

优化建议:

  • 启用无头模式:options.add_argument('--headless')
  • 禁用图片加载:prefs = {"profile.managed_default_content_settings.images": 2}
  • 使用execute_cdp_cmd注入JS绕过检测

⚡ Playwright:微软新一代自动化工具

支持多浏览器(Chromium/Firefox/WebKit),API更现代,自动等待机制减少手动同步。

优势:

  • 自动等待元素可交互,无需sleep
  • 支持网络拦截与响应Mock
  • 内置Tracing调试功能
  • 跨语言(Python/JS/Java/C#)
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()
    page.goto('https://example.com')
    content = page.inner_text('.main-content')
    browser.close()

🐍 Pyppeteer:无头Chrome控制库

基于pyppeteer(非官方)或playwright(推荐升级),适合需要精细控制Chrome DevTools Protocol的场景。

典型场景:

  • 截取全屏或指定区域
  • 注入JS修改navigator.webdriver标志
  • 模拟鼠标移动、键盘输入

④ 反爬机制突破策略

🛡️ 常见反爬手段及应对

反爬类型检测点破解方案
Header检测User-Agent、Referer缺失完整Headers模拟
IP频率限制单位时间请求过多IP池轮换+请求间隔控制
Cookie验证需登录态或动态TokenSession保持 + AES解密Token
JS渲染内容由JS动态生成Selenium/Playwright + 混淆JS逆向
签名参数请求含sign=md5(...)定位sign生成函数 + 逆向JS

🧩 典型案例:某电商商品详情页

问题:商品价格字段在HTML中为¥0.00,但实际价格需从window.__INITIAL_STATE__中提取。

解决方案:

  1. 搜索Network面板中的__INITIAL_STATE__关键词
  2. 定位到JS源码中的赋值语句:window.__INITIAL_STATE__ = {"price": 1299.00}
  3. 用正则提取:price = re.search(r'__INITIAL_STATE__\s*=\s*({.*?});', html).group(1)
  4. 用json.loads()解析JSON
import json, re
state = re.search(r'__INITIAL_STATE__\s*=\s*({.*?});', resp.text).group(1)
data = json.loads(state)
price = data['goods']['price']  # 实际价格

🔒 滑块验证码识别

以极验(Geetest)为例,突破流程:

  1. 请求gt.php获取challenge
  2. 下载背景图+缺口图
  3. 图像处理计算缺口偏移量(OpenCV模板匹配)
  4. 模拟拖动轨迹(贝塞尔曲线)
  5. 发送验证请求

⚠️ 注意:部分网站采用行为轨迹分析(鼠标移动加速度),需模拟人类操作。

⑤ 异步与高并发优化

⚡ asyncio + aiohttp实践

同步爬虫每秒仅能处理数个请求,而异步可提升至数百倍。核心逻辑:

import asyncio
import aiohttp
async def fetch(session, url):
    async with session.get(url) as resp:
        return await resp.text()
async def main(urls):
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        results = await asyncio.gather(*tasks)
        return results
urls = ['https://a.com', 'https://b.com', ...]
data = asyncio.run(main(urls))

性能对比:

方式100页耗时吞吐量
requests同步120s0.83页/秒
aiohttp异步8s12.5页/秒

⚙️ 线程池 + 队列方案(适合IO密集型)

对不支持异步的库(如旧版urllib2),可结合concurrent.futures:

from concurrent.futures import ThreadPoolExecutor
import requests
def download(url):
    return requests.get(url).text
urls = [...] * 200
with ThreadPoolExecutor(max_workers=20) as executor:
    results = list(executor.map(download, urls))

📊 性能监控与熔断

高并发下易出现:

  • 内存溢出(未及时释放响应体)
  • 连接池耗尽(未设置limit_per_host)
  • 目标站宕机(需熔断机制)

解决方案:

  • 使用asyncio.Semaphore(20)限制并发数
  • 设置请求重试次数(指数退避)
  • 实时监控CPU/内存占用(psutil)

⑥ 数据存储与清洗

💾 多样化存储方案

存储方式适用场景示例代码
CSV小规模数据df.to_csv('data.csv', index=False)
SQLite轻量级本地库conn.execute('INSERT INTO items VALUES (?,?,?)', data)
MongoDBJSON结构化数据collection.insert_one(doc)
Elasticsearch全文检索+分析es.index(index='products', body=doc)

🧼 数据清洗实战

以商品价格清洗为例:

import re
def clean_price(text):
    # 提取数字+小数点
    match = re.search(r'¥?(\d+(?:\.\d+)?)', text)
    return float(match.group(1)) if match else 0
prices = ['¥1,299.00', '¥899', '¥0.00', '暂无报价']
cleaned = [clean_price(p) for p in prices]
# [1299.0, 899.0, 0.0, 0.0]

常用清洗技巧:

  • 去除HTML标签:re.sub(r'<.*?>', '', text)
  • Unicode转中文:text.encode('latin1').decode('unicode_escape')
  • 时间标准化:datetime.strptime('2023-08-15', '%Y-%m-%d')

📊 数据可视化入门

用matplotlib绘制价格分布图:

import matplotlib.pyplot as plt
plt.hist(prices, bins=20, color='#037ef3', edgecolor='black')
plt.title('商品价格分布(元)')
plt.xlabel('价格')
plt.ylabel('数量')
plt.show()

进阶推荐:

  • PyECharts:交互式图表(支持地图/关系图)
  • Plotly:Web端动态可视化
  • Streamlit:快速构建数据应用

⑦ 真实项目实战案例

🛒 京东商品评论爬取

难点:

  • 评论接口为POST请求,含加密参数uuid、token
  • 分页参数需从响应JSON中提取
  • 评论内容含Emoji表情,需UTF-8兼容

解决方案:

  1. 抓包定位接口:https://club.jd.com/comment/productPageComments.action
  2. 构造POST参数:productId=xxx&score=0&sortType=5&page={}&pageSize=10
  3. 解析JSON响应:comments = resp.json()['comments']
  4. 提取字段:content, creationTime, nickname
for page in range(1, 101):
    params = {'productId': 100012345678, 'page': page}
    resp = session.post(url, data=params)
    comments = resp.json()['comments']
    for c in comments:
        print(c['content'][:50])

📰 知乎热榜Top50自动抓取

技术点:

  • 使用fake-useragent生成随机UA
  • 解析动态加载内容(需Playwright)
  • 保存为Markdown格式(含标题/链接/热度)

输出示例:

# 2023-08-15 知乎热榜Top50
1. [如何评价最近的XX事件?](https://zhihu.com/...)
   热度:125000
2. [Python爬虫如何绕过JS混淆?](https://zhihu.com/...)
   热度:98000

🌍 多语言网站采集(中文/英文/日文)

关键问题:编码混杂导致乱码

解决方案:

  1. 检测响应头Content-Type中的charset
  2. 使用chardet库自动检测编码:
    import chardet
    encoding = chardet.detect(resp.content)['encoding']
    resp.encoding = encoding
  3. 对日文站点启用'shift_jis'兼容

⑧ 合规与法律风险防范

⚖️ 合法爬虫的5项原则

  • robots.txt遵循:https://example.com/robots.txt禁止目录不爬取
  • 数据用途合规:仅用于个人研究/新闻报道,禁止商业滥用
  • 频率控制:单IP每分钟≤10次请求
  • 禁止绕过技术措施:不得破解验证码/加密协议
  • 数据脱敏处理:删除用户手机号、身份证等敏感信息

🛡️ 典型违法案例警示

2022年某公司因爬取某社交平台用户数据(含手机号)并出售,被法院以非法获取计算机信息系统数据罪判刑3年。

合规建议:

  • 部署前做robots.txt扫描(用urllib.robotparser)
  • 添加Accept: application/json头表明非浏览器身份
  • 对API数据,优先使用官方开放平台
  • 建立数据审计日志(记录爬取时间/URL/条数)

❓ 网友们还关心