Python爬虫全套教程合集|www.xservx.com

备案号:蜀ICP备2026035467号-3

Python爬虫全套教程合集|系统化学习路径与实战指南

本合集面向所有对网络数据采集感兴趣的开发者,无论您是零基础入门者,还是已有一定编程经验的工程师,都能在此找到清晰的学习路径与实用的技术方案。

网站以《Python爬虫全套教程合集》为核心主线,深入浅出地讲解网络爬虫的完整知识体系。从最基础的HTTP协议原理、HTML结构解析,到进阶的动态渲染页面处理、反爬机制对抗、分布式架构设计,再到生产环境的部署监控与异常处理,形成闭环式知识链。

在当前数据驱动决策的时代,高质量数据采集能力已成为数据分析师、AI训练师、SEO优化师、市场研究员等岗位的必备技能。本合集不仅注重技术实现,更强调工程化思维与业务场景适配能力的培养。

我们坚持“原理先行,实战跟进”的教学理念:每个技术点均配有原理图解与真实案例,避免“知其然不知其所以然”的学习困境;所有代码示例均经过实际项目验证,可直接复用或二次开发。

特别说明:本合集不依赖任何第三方平台服务,不涉及任何违反《网络安全法》《数据安全法》的行为,所有技术讲解均严格限定在合法合规的数据采集范畴内,倡导“技术向善”的工程师文化。

《Python爬虫全套教程合集》知识图谱

整个知识体系分为7大模块:

  • ① 基础准备:HTTP协议、HTML/CSS/JS基础、正则表达式、编码处理
  • ② 核心框架:Requests库、BeautifulSoup解析、lxml XPath、Selenium自动化
  • ③ 高级进阶:Scrapy框架、中间件机制、Pipeline处理、分布式架构
  • ④ 反爬对抗:User-Agent轮换、IP代理池、JS逆向、验证码识别、行为模拟
  • ⑤ 数据存储:MySQL、MongoDB、Redis、Elasticsearch、文件存储
  • ⑥ 工程实践:日志监控、错误重试、并发控制、任务调度、性能优化
  • ⑦ 项目实战:电商比价、舆情监控、招聘数据、新闻聚合、图片素材库

每个模块均包含“原理讲解→代码实现→常见错误→优化建议→扩展阅读”五层递进内容,确保学习者不仅会写代码,更能理解代码背后的逻辑,并具备独立解决复杂问题的能力。

核心模块详解|从基础到高阶

Requests:HTTP请求的瑞士军刀

Requests是Python中最流行的HTTP客户端库,以其简洁优雅的API设计著称。它封装了底层socket通信细节,使开发者只需关注业务逻辑而非协议细节。

在爬虫场景中,Requests主要用于发送GET/POST请求、处理Cookie、设置Headers、处理重定向等。其核心优势在于:代码可读性强、错误处理完善、支持连接池与超时控制。

以下是一个典型的数据请求示例:

import requests
import time
# 设置请求头,模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
    'Accept-Encoding': 'gzip, deflate, br'
}
# 设置会话对象,自动管理Cookie
session = requests.Session()
session.headers.update(headers)
try:
    # 发送GET请求
    response = session.get(
        'https://www.example.com/api/data',
        params={'page': 1, 'size': 20},  # URL参数
        timeout=10  # 超时设置(秒)
    )
    # 检查响应状态
    response.raise_for_status()
    # 解析JSON数据
    data = response.json()
    # 处理分页逻辑
    while data.get('has_next'):
        time.sleep(1)  # 避免请求过快
        next_url = data.get('next_url')
        response = session.get(next_url, timeout=10)
        response.raise_for_status()
        data = response.json()
except requests.exceptions.RequestException as e:
    print(f'请求失败:{e}')

注意:上述代码中使用了Session对象复用TCP连接,显著提升连续请求效率;通过timeout参数防止请求无限挂起;通过raise_for_status()确保非2xx状态码触发异常。

进阶技巧包括:
• 使用适配器(HTTPAdapter)配置连接池大小
• 实现自动重试机制(Retry模块)
• 处理HTTPS证书验证问题(verify参数)
• 代理IP动态切换(proxies参数)

Q:如何解决中文乱码问题?

A:Requests默认使用ISO-8859-1编码解析响应内容,遇到中文可能乱码。解决方案:

  1. 优先检查响应头Content-Type中的charset字段
  2. 若响应头未指定编码,尝试用chardet检测(需额外安装)
  3. 手动指定编码:response.encoding = 'utf-8'
  4. 对于已编码的二进制响应,用response.content.decode('utf-8')

BeautifulSoup:HTML结构的解析利器

BeautifulSoup是Python中功能强大的HTML/XML解析库,配合lxml或html.parser解析器,可高效提取网页中所需数据。其核心价值在于:API设计人性化、支持多种解析器、容错性强。

在爬虫流程中,BeautifulSoup通常用于解析Requests获取的HTML内容,通过标签名、class、id、属性选择器等方式精准定位目标元素。

以下为典型解析示例:

from bs4 import BeautifulSoup
import requests
# 获取HTML内容
html = requests.get('https://www.example.com/news').text
# 创建解析器对象(推荐使用lxml)
soup = BeautifulSoup(html, 'lxml')
# 方法1:通过标签名查找
articles = soup.find_all('article', class_='news-item')
# 方法2:通过CSS选择器
titles = soup.select('.news-list h3.title a')
# 方法3:通过属性查找
links = soup.find_all('a', href=lambda x: x and '/article/' in x)
# 提取数据
for article in articles:
    title = article.find('h3', class_='title').get_text(strip=True)
    date = article.find('span', class_='date').get_text(strip=True)
    link = article.find('a')['href']
    print(f'{title}|{date}|{link}')

注意:BeautifulSoup本身不解析JavaScript,仅处理静态HTML。对于动态加载内容,需结合Selenium或分析XHR请求。

性能优化建议:
• 对于大型文档,优先使用lxml解析器(C语言实现,速度比html.parser快3-10倍)
• 避免重复解析同一HTML
• 使用find_next_sibling()等方法减少DOM遍历层级

Q:如何处理动态class名(如React/Vue生成的hash类)?

A:现代前端框架常生成动态class(如class="item_abc123"),可通过以下方式解决:

  1. 使用正则匹配部分固定特征:soup.select('div[class*="item_"]')
  2. 通过兄弟节点定位:target.find_previous_sibling('h4').get_text()
  3. 分析数据接口:直接请求前端调用的API(推荐)
  4. 使用CSS选择器属性选择器:[class^="item_"][class$="active"]

Selenium:浏览器自动化测试利器

Selenium是一个用于Web应用程序测试的工具,支持模拟真实用户操作(点击、滚动、表单提交等)。在爬虫场景中,主要用于处理JavaScript动态渲染页面(SPA)。

核心优势:支持所有主流浏览器、可执行JS代码、等待元素加载完成。但需注意:Selenium资源消耗大、速度较慢,应仅在必要时使用。

以下为典型用法:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
# 配置无头模式(后台运行)
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
# 初始化浏览器
driver = webdriver.Chrome(options=chrome_options)
try:
    # 访问页面
    driver.get('https://www.example.com/dynamic')
    # 等待关键元素加载完成
    wait = WebDriverWait(driver, 15)
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.content-box')))
    # 模拟滚动到底部(触发懒加载)
    driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
    time.sleep(2)
    # 获取渲染后的内容
    html = driver.page_source
    print(html[:1000])
    # 提取数据
    items = driver.find_elements(By.CSS_SELECTOR, '.news-item')
    for item in items:
        title = item.find_element(By.TAG_NAME, 'h3').text
        link = item.find_element(By.TAG_NAME, 'a').get_attribute('href')
        print(f'{title}|{link}')
finally:
    driver.quit()

重要提醒:
• 必须安装对应浏览器驱动(ChromeDriver等)
• 使用显式等待(WebDriverWait)而非固定sleep
• 避免频繁启动/关闭浏览器,复用driver实例

Q:如何绕过Selenium的反爬检测?

A:网站常通过navigator.webdriver检测自动化工具,解决方案:

  1. 添加实验性参数:chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])
  2. 覆盖navigator.webdriver:driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'})
  3. 使用undetected-chromedriver库(自动处理检测)

Scrapy:企业级爬虫框架

Scrapy是Python中最成熟的爬虫框架,采用异步IO模型(Twisted框架),支持高并发、自动重试、中间件扩展等企业级特性。其核心架构包括:Engine(引擎)、Scheduler(调度器)、Downloader(下载器)、Spiders(爬虫)、Item Pipelines(数据管道)。

常用工具链|提升开发效率

开发辅助工具

  • • Postman:API调试首选,可模拟任意HTTP请求,查看响应结构与Headers
  • • Chrome DevTools:网络面板分析XHR请求,元素检查器定位目标DOM
  • • Scrapy-Shell:交互式调试爬虫代码,即时查看Selector匹配结果
  • • BrowserMob Proxy:捕获HTTPS流量,分析加密参数生成过程
  • • mitmproxy:中间人代理工具,支持脚本篡改请求/响应

数据处理工具

  • • Pandas:结构化数据清洗、统计、导出Excel/CSV
  • • NumPy:数值计算加速,处理大规模数组
  • • OpenPyXL:Excel文件写入(支持格式设置)
  • • jsonpath-ng:JSON数据提取(类似XPath)
  • • PyMySQL:MySQL数据库操作(替代原生MySQLdb)

部署运维工具

  • • Supervisor:进程守护,自动重启异常退出的爬虫
  • • Celery:分布式任务队列,支持定时任务与异步处理
  • • Docker:容器化部署,解决环境依赖问题
  • • Grafana + Prometheus:实时监控爬虫运行状态
  • • Logstash + Elasticsearch:日志集中管理与分析

实战案例|从简单到复杂

案例1:新闻聚合爬虫(基础版)

目标:抓取主流新闻网站标题、发布时间、来源、链接

技术栈:Requests + BeautifulSoup + Pandas

步骤说明:

  1. 分析目标网站结构(以新华网为例)
  2. 定位新闻列表容器(ul.news-list)
  3. 提取每条新闻的标题、链接、时间
  4. 处理分页逻辑(页码参数变化)
  5. 清洗数据并导出CSV
import pandas as pd
import requests
from bs4 import BeautifulSoup
from datetime import datetime
def crawl_news():
    all_data = []
    for page in range(1, 6):  # 抓取前5页
        url = f'https://www.xinhuanet.com/news/{page}.html'
        headers = {'User-Agent': 'Mozilla/5.0...'}
        resp = requests.get(url, headers=headers)
        soup = BeautifulSoup(resp.text, 'lxml')
        news_items = soup.select('ul.news-list li')
        for item in news_items:
            title_tag = item.select_one('h3 a')
            date_tag = item.select_one('.time')
            if title_tag and date_tag:
                all_data.append({
                    'title': title_tag.get_text(strip=True),
                    'link': title_tag['href'],
                    'date': date_tag.get_text(strip=True),
                    'source': '新华网',
                    'crawl_time': datetime.now().strftime('%Y-%m-%d %H:%M:%S')
                })
    # 保存为CSV
    df = pd.DataFrame(all_data)
    df.to_csv('news_data.csv', index=False, encoding='utf-8-sig')
    print(f'共抓取 {len(all_data)} 条新闻')
crawl_news()

案例2:电商比价系统(进阶版)

目标:监控京东/天猫商品价格变化,设置价格预警

技术栈:Requests + Selenium + MySQL + Flask

核心挑战:

  • • 商品详情页为动态加载(需Selenium)
  • • 价格包含隐藏字段(需JS逆向)
  • • 需处理登录态(Cookie复用)
  • • 高频请求需IP轮换

解决方案:

  1. 用Selenium登录账号,保存Cookie至本地
  2. 分析价格接口(如/item/xxx.html?skuId=xxx)
  3. 解析响应中的JSON数据(含历史价格曲线)
  4. 将数据存入MySQL(字段:sku_id, price, history_prices, timestamp)
  5. Flask提供Web界面展示价格趋势

案例3:舆情监控平台(企业级)

目标:实时采集微博、公众号、新闻评论,生成情感分析报告

技术栈:Scrapy + Redis + Kafka + NLP + Django

架构设计:

模块 功能 技术实现
数据采集层 微博/公众号/新闻 Scrapy+中间件+IP池
消息队列 数据缓冲 Kafka主题:raw_data
数据处理 清洗+分词 Celery任务+jieba分词
存储层 原始数据+处理后 ES(搜索)+MongoDB(日志)
应用层 可视化+预警 Django+ECharts

特别说明:舆情数据涉及敏感内容,所有采集行为需符合《网络信息内容生态治理规定》,仅用于学术研究与企业自用,不对外提供数据服务。

反爬对策|实战对抗策略

常见反爬手段与应对方案

反爬类型 原理 应对策略 代码示例
User-Agent检测 检查请求头UA字段 轮换UA列表+随机选择 headers['User-Agent'] = random.choice(UA_LIST)
IP频率限制 同一IP请求次数超限 代理IP池+自动切换 proxies={'http': 'http://ip:port'}
Cookie校验 需特定Cookie才能访问 登录态复用+自动刷新 session.cookies.update(cookies)
JS加密参数 请求参数通过JS动态生成 JS逆向/请求分析 定位加密函数调用点
行为验证 鼠标轨迹/操作时序检测 模拟人类操作(Selenium) 随机延时+鼠标移动

代理IP池构建指南

代理IP池是应对IP封禁的核心组件,需满足:高可用性、自动验证、动态更新。

实现步骤:

  1. 采集免费代理(如快代理、云代理)
  2. 验证代理可用性(测试连接速度、匿名度)
  3. 存储到Redis(SortedSet,score=延迟)
  4. 爬虫随机取用,失败则标记降级
  5. 定时刷新(每30分钟)
import redis
import random
import requests
class ProxyPool:
    def __init__(self):
        self.r = redis.Redis(host='localhost', port=6379, db=0)
    def add_proxy(self, proxy, score=100):
        self.r.zadd('proxies', {proxy: score})
    def get_proxy(self):
        # 获取高质量代理(score高)
        proxies = self.r.zrevrange('proxies', 0, 99)
        if proxies:
            return random.choice(proxies).decode()
        return None
    def validate_proxy(self, proxy):
        try:
            start = time.time()
            requests.get('https://www.baidu.com',
                        proxies={'http': f'http://{proxy}'},
                        timeout=5)
            cost = time.time() - start
            if cost < 2:
                self.r.zadd('proxies', {proxy: max(100, 100 - int(cost*50))})
                return True
        except:
            self.r.zrem('proxies', proxy)
        return False

JS逆向入门技巧

当请求参数被JS加密时,可通过以下步骤分析:

  1. 在浏览器开发者工具Network中筛选XHR请求
  2. 右键请求→Copy as cURL,粘贴到Postman测试
  3. 定位加密参数(如ts=xxx&sign=xxx)
  4. 全局搜索sign参数来源(Ctrl+Shift+F)
  5. 下断点调试(Sources→XHR Breakpoints)
  6. 复制加密函数,在Node.js中复现逻辑

典型案例:某视频网站的video_id加密、某电商的token生成。实际项目中,建议优先分析前端API调用,往往可直接获取原始数据。

部署运维|生产环境落地

生产环境部署流程

从开发到上线需经历:环境隔离→自动化部署→监控告警→日志分析。

  • ① 使用Docker构建一致环境:
    FROM python:3.10-slim
    COPY requirements.txt .
    RUN pip install -r requirements.txt
    COPY . .
    CMD ["scrapy", "crawl", "news_spider"]
  • ② Supervisor守护进程:
    [program:spider]
    command=python /app/main.py
    autorestart=true
    stdout_logfile=/var/log/spider.log
  • ③ 定时任务(Cron):
    0 8 * * * cd /opt/spider && scrapy crawl daily
  • ④ Prometheus监控指标:
    • 爬取成功率(success_rate)
    • 平均响应时间(response_time_avg)
    • 失败IP数量(failed_ips)

错误重试与降级策略

生产环境必须处理异常情况:

  • • 网络超时:重试3次+指数退避(1s→2s→4s)
  • • 验证码弹出:切换代理IP+人工复核
  • • 数据格式变更:正则兜底+人工审核队列
  • • 数据库连接失败:本地缓存+异步重连
from tenacity import retry, stop_after_attempt, wait_exponential
@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=1, max=10))
def fetch_with_retry(url):
    response = requests.get(url, timeout=10)
    response.raise_for_status()
    return response

常见问题FAQ|高频疑问解答

Q1:爬虫会违法吗?

A:合法边界在于:
• 是否遵守robots.txt协议
• 是否超过网站服务器承载能力
• 是否侵犯用户隐私或数据安全
• 是否用于商业目的未获授权
建议:仅抓取公开数据,控制请求频率,不绕过技术防护措施。

Q2:为什么爬取速度越来越慢?

A:可能原因:
• 目标网站增加了反爬机制
• 本地网络带宽不足
• 代理IP质量下降
• 未复用TCP连接(使用Session)
解决方案:分析响应时间分布,定位瓶颈环节。

Q3:如何处理登录态?

A:推荐方案:
① 使用Session自动管理Cookie
② 将登录态存储到Redis(key: user_session, value: cookies)
③ 定时刷新(登录态过期前30分钟)
④ 失败时自动触发登录流程
注意:避免硬编码密码,使用环境变量或加密存储。

Q4:数据量太大内存爆了怎么办?

A:解决方案:
• 分批处理(每次抓取100页)
• 使用生成器(yield)逐条处理
• 数据直接写入数据库(不暂存内存)
• 使用pandas的chunksize参数分块读写
• 采用流式JSON(ijson库)