备案号:蜀ICP备2026035467号-3 | 网址:www.xservx.com

Python怎么爬取小说?一文掌握完整爬虫技术栈

爬虫入门基础认知

什么是网络爬虫?

网络爬虫(Web Crawler)是一种按预定规则自动抓取网页内容的程序。小说爬虫特指从网络文学平台(如起点中文网、晋江文学城、番茄小说等)提取章节文本、标题、作者、更新时间、阅读量等结构化数据的自动化脚本。其核心价值在于:为个人阅读存档、构建本地阅读库、支持离线学习、辅助文本分析研究(如语言风格演变、题材变迁),甚至为出版行业提供市场趋势洞察。

需强调:爬虫本身不违法,但违反网站《 robots.txt 》协议、绕过技术防护措施、大量高频请求导致服务器过载、用于商业侵权等行为可能触犯《网络安全法》《反不正当竞争法》及《民法典》相关条款。合法使用原则包括:仅采集非隐私公开数据、控制请求频率(建议≥3秒/次)、尊重网站协议、不用于非法牟利。

为什么选择Python?

Python凭借其简洁语法、丰富生态成为爬虫首选语言,核心优势如下:

  • ① 语法简洁:无需声明变量类型,代码可读性强,新人1小时可写出基础爬虫;
  • ② 库生态强大:requests(HTTP请求)、BeautifulSoup(HTML解析)、lxml(高性能XML解析)、selenium(浏览器自动化)、pymysql(MySQL操作)、pymongo(MongoDB操作)、schedule(定时任务)等成熟工具链;
  • ③ 调试友好:交互式解释器支持逐行执行,配合PyCharm/VS Code可实时查看变量状态;
  • ④ 社区活跃:Stack Overflow、GitHub、CSDN等平台有海量爬虫案例与问题解决方案。

据2025年Python开发者调查报告,78%的爬虫项目使用Python,远超Java(15%)和JavaScript(7%)。

小说爬虫的典型应用场景

从实际需求出发,爬虫技术可支撑以下场景:

  1. 个人阅读备份:将喜爱的小说(如《三体》《斗破苍穹》)下载至本地EPUB/PDF格式,避免平台下架或收费变更影响阅读;
  2. 文本挖掘研究:分析不同年代小说用词频率变化(如“科技”出现频次上升)、人物关系网络构建(基于对话统计)、题材演化路径(玄幻→科幻→现实);
  3. 内容聚合平台:为图书馆、学校提供非盈利性小说资源导航系统(需获得授权);
  4. 出版辅助决策:统计平台热门作品的章节长度、更新频率、读者评论情感值,为编辑选题提供数据支持;
  5. 教学实验素材:作为编程入门项目的实战案例,覆盖HTTP协议、正则表达式、数据库、反爬机制等综合知识。

注意:所有场景必须严格遵守法律法规,建议在项目启动前查阅《网络信息内容生态治理规定》第12条关于“不得传播未经证实的信息”及第21条关于“不得破坏网络生态秩序”的条款。

核心工具栈详解

基础工具组合

新手入门推荐以下三件套,覆盖90%静态小说站采集需求:

  • requests:发送HTTP请求的轻量级库,支持GET/POST、自定义Header、Cookie、代理等;
  • BeautifulSoup4:解析HTML/XML文档,提供find()/find_all()等直观API;
  • re:Python内置正则模块,用于复杂文本提取(如从JS中提取加密章节链接)。

进阶工具增强

应对动态加载、反爬机制时需引入:

  • Selenium:模拟真实浏览器操作,支持JS执行、点击、滚动等交互;配合WebDriverManager可自动管理驱动;
  • Playwright:微软开源新锐工具,性能优于Selenium,支持多浏览器(Chromium/Firefox/WebKit);
  • httpx:异步HTTP客户端,支持HTTP/2、并发请求,适合大规模采集;
  • pyppeteer:无头浏览器控制库,兼容Chrome DevTools协议。

数据存储方案

采集后的数据存储选择需匹配业务规模:

存储方式适用场景推荐库
CSV/JSON文件小规模测试(≤10万章)csv/json内置模块
SQLite数据库本地应用(单机版阅读器)sqlite3内置模块
MySQL/MariaDB中大型项目(需关联用户/评论)pymysql/SQLAlchemy
MongoDB非结构化数据(章节元数据+正文)pymongo
Elasticsearch全文检索需求(站内搜索小说内容)elasticsearch-py

示例:SQLite建表语句(支持小说章节存储):

CREATE TABLE IF NOT EXISTS novels (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    title TEXT NOT NULL,
    author TEXT,
    category TEXT,
    chapter_num INTEGER,
    chapter_title TEXT,
    content TEXT,
    publish_time DATETIME,
    source_url TEXT,
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);

调试与监控工具

  • 浏览器开发者工具(F12):核心调试手段,重点查看Network标签页的XHR请求、Response内容及Headers参数;
  • Postman:手动构造请求验证参数有效性,避免代码调试干扰;
  • Loguru:替代print()的轻量级日志库,支持彩色输出、文件分割;
  • schedule:定时任务调度器,实现每日自动更新新章节。

主流采集方法对比

静态页面采集
动态渲染采集
API接口调用
混合策略

静态页面采集(适用于传统小说站)

适用于小说章节以纯HTML形式渲染的站点(如部分文学网站历史存档)。核心步骤:

  1. 分析章节列表页结构(如http://example.com/novel/123/),提取所有章节链接;
  2. 遍历链接发送GET请求,解析正文内容;
  3. 清洗文本(去除广告、页脚、JS代码);
  4. 按章节序号排序并存储。

实操案例:采集起点中文网某老书(静态版)

步骤1:检查页面源码发现章节列表结构如下:

<div class="chapter-list">
  <ul>
    <li><a href="/book/123/1.html">第一章 重生</a></li>
    <li><a href="/book/123/2.html">第二章 逆天改命</a></li>
  </ul>
</div>

步骤2:编写采集脚本(简化版):

import requests
from bs4 import BeautifulSoup
import re
def get_chapter_list(url):
    resp = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
    soup = BeautifulSoup(resp.text, 'html.parser')
    chapters = []
    for li in soup.select('.chapter-list li a'):
        chapters.append({
            'title': li.get_text(),
            'url': 'http://example.com' + li['href']
        })
    return chapters
def get_chapter_content(url):
    resp = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
    soup = BeautifulSoup(resp.text, 'html.parser')
    content = soup.select_one('#chapter-content')
    # 清洗:移除广告脚本
    for script in content(['script', 'style']):
        script.decompose()
    return re.sub(r'\s+', ' ', content.get_text()).strip()

关键技巧:使用正则表达式提取JS中的加密参数时,需注意Unicode编码转义(如\u6700\u65b0\u7ae0\u8282→最新章节)。

动态渲染采集(应对JS动态加载)

当前主流小说站多采用动态加载(如起点、晋江),直接请求页面仅返回空壳HTML,需模拟浏览器执行JS。Selenium方案如下:

  1. 初始化ChromeDriver;
  2. 访问列表页并等待章节元素加载完成;
  3. 滚动页面触发懒加载;
  4. 提取DOM节点内容。

实操案例:采集番茄小说网动态章节

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
driver = webdriver.Chrome()
driver.get('https://fanqienovel.com/page/123')
wait = WebDriverWait(driver, 10)
# 等待章节列表加载
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.chapter-list')))
# 滚动到底部加载更多
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2)
chapters = driver.find_elements(By.CSS_SELECTOR, '.chapter-list li a')
for chapter in chapters:
    print(chapter.text, chapter.get_attribute('href'))
driver.quit()

优化建议:使用无头模式(headless)提升性能;配合Chrome DevTools Protocol抓取Network响应,避免解析DOM;设置请求头伪装移动设备(User-Agent含Mobile)。

API接口调用(高效且稳定)

部分平台提供公开API(如起点作家后台接口),直接调用JSON数据更可靠:

  • 优点:数据结构清晰、无需解析HTML、响应速度快;
  • 缺点:需逆向分析接口参数(加密token、签名算法);
  • 风险:违反服务条款,可能被封IP。

典型API结构示例:

POST https://api.qidian.com/Book/GetChapterList
{
  "bookId": 123,
  "pageIndex": 1,
  "pageSize": 20,
  "sign": "a1b2c3..."  // 服务端验证签名
}

签名算法常见模式:时间戳+随机数+参数拼接后SHA256加密,需通过Fiddler抓包分析加密逻辑。

混合策略(兼顾效率与稳定性)

推荐组合方案:

  1. 优先尝试API调用(成功率高、数据准);
  2. 失败后降级为Selenium动态采集;
  3. 最后兜底静态解析(针对历史存档)。

混合流程图:

请求API → 成功?→ 存储数据 → 结束

  ↓ 失败

Selenium采集 → 成功?→ 存储数据 → 结束

  ↓ 失败

静态解析 → 成功?→ 存储数据 → 结束

  ↓ 失败

记录日志 + 人工审核

采集流程设计原则

反爬机制应对策略

常见反爬手段及对策

反爬类型检测点应对方案
User-Agent检测检查请求头是否含标准浏览器标识使用真实浏览器UA;轮换UA池
Referer验证验证请求来源页面合法性添加Referer头为列表页URL
Cookie验证检查会话状态保存登录Cookie;模拟登录流程
请求频率限制单位时间请求数阈值随机延迟(1-5秒);使用代理IP池
JS动态加密参数含加密字段(如sign、timestamp)逆向JS提取算法;抓包分析参数生成逻辑
滑块验证行为轨迹检测使用Selenium模拟鼠标轨迹;接入打码平台

代理IP池构建

高匿名代理是稳定采集的关键,构建步骤:

  1. 从代理市场购买(如快代理、芝麻代理),获取API接口;
  2. 编写代理验证脚本,测试响应速度与存活率;
  3. 按地区/运营商分类存储,请求时随机选择;
  4. 实时监控代理状态,自动剔除失效IP。

代理使用示例:

proxies = {
    'http': 'http://123.45.67.89:8080',
    'https': 'https://123.45.67.89:8080'
}
response = requests.get(url, proxies=proxies, timeout=10)

验证码识别方案

针对滑块/点选验证码,推荐:

注意:破解验证码可能违反《网络安全法》第27条,建议仅用于合法授权场景。

数据清洗与结构化

文本清洗步骤

原始爬取数据需经以下处理:

  1. 去广告:移除