网络爬虫(Web Crawler)是一种按预定规则自动抓取网页内容的程序。小说爬虫特指从网络文学平台(如起点中文网、晋江文学城、番茄小说等)提取章节文本、标题、作者、更新时间、阅读量等结构化数据的自动化脚本。其核心价值在于:为个人阅读存档、构建本地阅读库、支持离线学习、辅助文本分析研究(如语言风格演变、题材变迁),甚至为出版行业提供市场趋势洞察。
需强调:爬虫本身不违法,但违反网站《 robots.txt 》协议、绕过技术防护措施、大量高频请求导致服务器过载、用于商业侵权等行为可能触犯《网络安全法》《反不正当竞争法》及《民法典》相关条款。合法使用原则包括:仅采集非隐私公开数据、控制请求频率(建议≥3秒/次)、尊重网站协议、不用于非法牟利。
Python凭借其简洁语法、丰富生态成为爬虫首选语言,核心优势如下:
据2025年Python开发者调查报告,78%的爬虫项目使用Python,远超Java(15%)和JavaScript(7%)。
从实际需求出发,爬虫技术可支撑以下场景:
注意:所有场景必须严格遵守法律法规,建议在项目启动前查阅《网络信息内容生态治理规定》第12条关于“不得传播未经证实的信息”及第21条关于“不得破坏网络生态秩序”的条款。
新手入门推荐以下三件套,覆盖90%静态小说站采集需求:
应对动态加载、反爬机制时需引入:
采集后的数据存储选择需匹配业务规模:
| 存储方式 | 适用场景 | 推荐库 |
|---|---|---|
| CSV/JSON文件 | 小规模测试(≤10万章) | csv/json内置模块 |
| SQLite数据库 | 本地应用(单机版阅读器) | sqlite3内置模块 |
| MySQL/MariaDB | 中大型项目(需关联用户/评论) | pymysql/SQLAlchemy |
| MongoDB | 非结构化数据(章节元数据+正文) | pymongo |
| Elasticsearch | 全文检索需求(站内搜索小说内容) | elasticsearch-py |
示例:SQLite建表语句(支持小说章节存储):
CREATE TABLE IF NOT EXISTS novels (
id INTEGER PRIMARY KEY AUTOINCREMENT,
title TEXT NOT NULL,
author TEXT,
category TEXT,
chapter_num INTEGER,
chapter_title TEXT,
content TEXT,
publish_time DATETIME,
source_url TEXT,
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
适用于小说章节以纯HTML形式渲染的站点(如部分文学网站历史存档)。核心步骤:
实操案例:采集起点中文网某老书(静态版)
步骤1:检查页面源码发现章节列表结构如下:
<div class="chapter-list">
<ul>
<li><a href="/book/123/1.html">第一章 重生</a></li>
<li><a href="/book/123/2.html">第二章 逆天改命</a></li>
</ul>
</div>
步骤2:编写采集脚本(简化版):
import requests
from bs4 import BeautifulSoup
import re
def get_chapter_list(url):
resp = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
soup = BeautifulSoup(resp.text, 'html.parser')
chapters = []
for li in soup.select('.chapter-list li a'):
chapters.append({
'title': li.get_text(),
'url': 'http://example.com' + li['href']
})
return chapters
def get_chapter_content(url):
resp = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
soup = BeautifulSoup(resp.text, 'html.parser')
content = soup.select_one('#chapter-content')
# 清洗:移除广告脚本
for script in content(['script', 'style']):
script.decompose()
return re.sub(r'\s+', ' ', content.get_text()).strip()
关键技巧:使用正则表达式提取JS中的加密参数时,需注意Unicode编码转义(如\u6700\u65b0\u7ae0\u8282→最新章节)。
当前主流小说站多采用动态加载(如起点、晋江),直接请求页面仅返回空壳HTML,需模拟浏览器执行JS。Selenium方案如下:
实操案例:采集番茄小说网动态章节
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
driver = webdriver.Chrome()
driver.get('https://fanqienovel.com/page/123')
wait = WebDriverWait(driver, 10)
# 等待章节列表加载
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.chapter-list')))
# 滚动到底部加载更多
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2)
chapters = driver.find_elements(By.CSS_SELECTOR, '.chapter-list li a')
for chapter in chapters:
print(chapter.text, chapter.get_attribute('href'))
driver.quit()
优化建议:使用无头模式(headless)提升性能;配合Chrome DevTools Protocol抓取Network响应,避免解析DOM;设置请求头伪装移动设备(User-Agent含Mobile)。
部分平台提供公开API(如起点作家后台接口),直接调用JSON数据更可靠:
典型API结构示例:
POST https://api.qidian.com/Book/GetChapterList
{
"bookId": 123,
"pageIndex": 1,
"pageSize": 20,
"sign": "a1b2c3..." // 服务端验证签名
}
签名算法常见模式:时间戳+随机数+参数拼接后SHA256加密,需通过Fiddler抓包分析加密逻辑。
推荐组合方案:
混合流程图:
请求API → 成功?→ 存储数据 → 结束
↓ 失败
Selenium采集 → 成功?→ 存储数据 → 结束
↓ 失败
静态解析 → 成功?→ 存储数据 → 结束
↓ 失败
记录日志 + 人工审核
| 反爬类型 | 检测点 | 应对方案 |
|---|---|---|
| User-Agent检测 | 检查请求头是否含标准浏览器标识 | 使用真实浏览器UA;轮换UA池 |
| Referer验证 | 验证请求来源页面合法性 | 添加Referer头为列表页URL |
| Cookie验证 | 检查会话状态 | 保存登录Cookie;模拟登录流程 |
| 请求频率限制 | 单位时间请求数阈值 | 随机延迟(1-5秒);使用代理IP池 |
| JS动态加密 | 参数含加密字段(如sign、timestamp) | 逆向JS提取算法;抓包分析参数生成逻辑 |
| 滑块验证 | 行为轨迹检测 | 使用Selenium模拟鼠标轨迹;接入打码平台 |
高匿名代理是稳定采集的关键,构建步骤:
代理使用示例:
proxies = {
'http': 'http://123.45.67.89:8080',
'https': 'https://123.45.67.89:8080'
}
response = requests.get(url, proxies=proxies, timeout=10)
针对滑块/点选验证码,推荐:
注意:破解验证码可能违反《网络安全法》第27条,建议仅用于合法授权场景。
原始爬取数据需经以下处理: