随着网络文学产业规模突破400亿元,海量小说文本成为重要的数据资产。而python抓取小说技术因其生态成熟、库丰富、学习曲线平缓,已成为数据工程师、内容运营、文学研究者的核心技能之一。本指南系统梳理从零构建稳定采集系统的关键环节,涵盖以下核心价值:
与传统手动复制粘贴相比,python抓取小说自动化方案可将单站采集效率提升至人工的数百倍,且支持定制化数据字段抽取(如VIP章节解锁时间、月票排名、作者互动率等),为内容分析、读者画像、市场趋势预测提供数据基础。
特别说明:本项目严格遵循《网络信息内容生态治理规定》及网站服务协议,仅采集公开、非加密、允许robots.txt收录的内容,所有请求均设置合理User-Agent与间隔时间,杜绝恶意抓取行为。
一个完整的采集系统需多工具协同工作,以下为推荐配置及选型依据:
requests:轻量级、文档丰富,适合静态页面采集。支持会话复用(Session)、代理池、Cookie管理。示例:
import requests
session = requests.Session()
session.headers.update({
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Accept-Language': 'zh-CN,zh;q=0.9'
})
response = session.get('https://example.com/novel/123', timeout=10)
httpx:支持HTTP/2、异步请求,适合高并发采集场景。配合asyncio可实现千级并发。示例:
import httpx
async with httpx.AsyncClient(headers={'User-Agent': '...'}, timeout=10) as client:
response = await client.get('https://example.com/novel/123')
BeautifulSoup:API友好,支持多种解析器(html.parser、lxml、html5lib)。适合结构稳定的小说站:
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'lxml')
title = soup.select_one('.book-name').text.strip()
content = soup.select_one('#chapter-content').get_text(separator='\n')
lxml:基于C语言,速度极快(比BeautifulSoup快10-100倍),支持XPath精准定位。适合复杂DOM结构:
from lxml import html
tree = html.fromstring(response.text)
title = tree.xpath('//h1[@class="book-name"]/text()')[0]
content = ''.join(tree.xpath('//div[@id="chapter-content"]//text()'))
针对动态加载小说站(如起点中文网、纵横中文网),需模拟浏览器行为:
Selenium:生态成熟,支持多浏览器驱动。代码示例:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
driver.get('https://example.com/novel/123')
content = driver.find_element(By.ID, 'chapter-content').text
driver.quit()
Playwright:微软开发,支持多浏览器(Chromium/Firefox/Safari),API更现代。示例:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto('https://example.com/novel/123')
content = page.text_content('#chapter-content')
browser.close()
SQLite:轻量级文件数据库,适合中小规模采集(<100万条)。结构化存储示例:
import sqlite3
conn = sqlite3.connect('novel.db')
cursor = conn.cursor()
cursor.execute('''CREATE TABLE IF NOT EXISTS chapters
(id INTEGER PRIMARY KEY, book_id TEXT, title TEXT, content TEXT,
publish_time DATETIME DEFAULT CURRENT_TIMESTAMP)''')
MongoDB:文档型数据库,适合非结构化数据(如评论、打赏记录)。示例:
from pymongo import MongoClient
client = MongoClient('mongodb://localhost:27017/')
db = client['novel_db']
chapters = db['chapters']
chapters.insert_one({
'book_id': '123',
'title': '第一章 标题',
'content': '正文内容...',
'tags': ['玄幻', '连载']
})
现代小说站反爬体系日趋完善,需针对性应对以下机制:
基础请求头需包含:
• User-Agent:随机切换主流浏览器标识
• Accept:指定返回内容类型(text/html, */*)
• Accept-Language:设置为zh-CN,zh;q=0.9
• Referer:伪造来源页面URL(如从首页跳转至小说页)
• Cookie:保留登录态(如已登录账号)
高级技巧:
• 通过浏览器开发者工具分析真实请求头,提取关键字段
• 使用Faker库生成随机但合理的请求头组合
• 示例代码:
from fake_useragent import UserAgent
ua = UserAgent()
headers = {
'User-Agent': ua.random,
'Referer': 'https://www.example.com/',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9'
}
小说站通常设置IP频率限制(如每分钟10次),需实现:
• 基础延迟:每次请求后sleep(2-5秒)
• 随机延迟:random.uniform(1.5, 4.2)秒
• 指数退避:失败后重试间隔递增
• 代理IP池:每50次请求切换IP
import time, random
import requests
def fetch_with_retry(url, max_retries=3):
for attempt in range(max_retries):
try:
response = requests.get(url, headers=headers, timeout=10)
if response.status_code == 200:
return response
elif response.status_code == 429: # Too Many Requests
time.sleep(60 * (attempt + 1))
except requests.RequestException:
time.sleep(random.uniform(2, 5))
raise Exception("Max retries exceeded")
常见加密类型:
• Base64编码:直接解码
• AES加密:需逆向JS获取密钥
• RSA加密:使用cryptography库
实战案例:某站小说详情页参数加密流程:
① 分析JS发现加密逻辑:
var data = {"bookId":"123","ts":1620000000};
var sign = CryptoJS.HmacSHA256(JSON.stringify(data), "secret_key").toString();
② Python实现等效逻辑:import json, hashlib
data = {"bookId":"123","ts":1620000000}
sign = hashlib.sha256(json.dumps(data, separators=(',',':')).encode() + b"secret_key").hexdigest()
以下为完整采集流程,涵盖静态页面、动态渲染、内容清洗三阶段:
目标URL:https://book.qidian.com/info/1010609716
使用requests解析章节列表:
import requests
from bs4 import BeautifulSoup
url = 'https://book.qidian.com/info/1010609716'
headers = {'User-Agent': 'Mozilla/5.0...'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
chapters = []
for item in soup.select('.volume-list li'):
title = item.select_one('.name').text.strip()
href = 'https:' + item.select_one('a')['href']
chapters.append({'title': title, 'url': href})
针对需登录的VIP章节,使用Selenium:
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
for chapter in chapters:
driver.get(chapter['url'])
# 等待内容加载完成
content_element = driver.find_element(By.ID, 'chapter-content')
chapter['content'] = content_element.text.strip()
# 模拟滚动加载更多内容
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(1.5)
清洗步骤:
① 移除广告弹窗(如"点击领取VIP礼包")
② 去除重复段落(正则匹配连续重复句)
③ 标准化换行符(\n→\n\n)
④ 提取元数据(章节序号、发布时间)
import re
def clean_content(text):
# 移除广告
text = re.sub(r'【.*?】.*?点击.*?领取.*?VIP', '', text)
# 去除连续重复句
text = re.sub(r'(.+?)\1+', r'\1', text)
# 标准化换行
text = re.sub(r'\n{3,}', '\n\n', text).strip()
return text
采用JSON记录进度:
import json
# 读取上次进度
try:
with open('progress.json', 'r') as f:
progress = json.load(f)
except FileNotFoundError:
progress = {'last_index': 0}
# 从断点继续采集
for i in range(progress['last_index'], len(chapters)):
try:
# 采集逻辑...
progress['last_index'] = i + 1
with open('progress.json', 'w') as f:
json.dump(progress, f)
except Exception as e:
print(f"Error at {i}: {e}")
break
存储设计需兼顾查询效率与扩展性,推荐分层方案:
使用MongoDB存储原始HTML响应,便于后续重新解析:
from pymongo import MongoClient
client = MongoClient()
db = client['raw_data']
db.html.insert_one({
'url': 'https://example.com/chapter/1',
'timestamp': datetime.now(),
'content': response.text,
'status': 200
})
SQLite存储小说主干数据(书名、作者、章节):
CREATE TABLE books (
id INTEGER PRIMARY KEY,
title TEXT,
author TEXT,
category TEXT,
status TEXT, -- 连载/完本
last_update DATE
);
CREATE TABLE chapters (
id INTEGER PRIMARY KEY,
book_id INTEGER,
title TEXT,
content TEXT,
publish_time DATETIME,
FOREIGN KEY(book_id) REFERENCES books(id)
);
针对读者行为分析,构建附加表:
CREATE TABLE reader_stats (
chapter_id INTEGER,
read_count INTEGER,
comment_count INTEGER,
reward_amount REAL,
FOREIGN KEY(chapter_id) REFERENCES chapters(id)
);
示例:计算章节互动率(评论/阅读量)
SELECT c.title,
ROUND(s.comment_count * 1.0 / NULLIF(s.read_count, 0), 4) AS engagement_rate
FROM chapters c
JOIN reader_stats s ON c.id = s.chapter_id
ORDER BY engagement_rate DESC;
根据《著作权法》及《网络信息内容生态治理规定》,合法采集需注意:
① 仅采集公开、非加密、robots.txt允许的内容
② 严格控制请求频率(≤5次/分钟/站点)
③ 不传播、不商用,仅限个人研究或教育用途
访问 https://example.com/robots.txt,确认无以下禁止项:
• Disallow: /novel/ → 禁止采集小说页
• Disallow: /chapter/ → 禁止采集章节页
• Sitemap: https://example.com/sitemap.xml → 可通过sitemap采集
Python自动检查:
import requests
from urllib.parse import urljoin
def check_robots(url):
robots_url = urljoin(url, '/robots.txt')
response = requests.get(robots_url)
if response.status_code == 200:
disallows = [line.split(':',1)[1].strip()
for line in response.text.split('\n')
if line.lower().startswith('disallow')]
return disallows
return []
根据《著作权法》第二十四条,以下情形可不经许可:
① 为个人学习、研究或欣赏,使用他人作品
② 为介绍、评论某一作品而适当引用
③ 国家机关执行公务在合理范围内使用
但需注意:
• 禁止提供付费下载或广告变现
• 禁止修改原文内容(如添加水印)
• 应注明作品来源及作者信息
优先考虑官方渠道:
• 起点中文网开放平台(https://open.qidian.com/)
• 纵横中文网API(需申请权限)
• 豆瓣读书API(仅限公开书评数据)
• 中国国家图书馆数字资源(部分公开小说文本)