Python爬虫爬取付费小说|技术全解与实战指南
从零构建稳定小说采集系统|反爬应对策略|法律合规边界|真实项目复盘
技术架构全景解析
Python爬虫爬取付费小说的技术链路远非简单请求-解析,需综合应对动态渲染、加密参数、IP封禁、频率限制等多重挑战。现代小说网站多采用以下防护策略:
- ① JavaScript动态加载:核心章节内容由前端JS异步请求生成,直接抓包无法获取
- ② 参数加密传输:请求参数含time、sign、token等动态字段,需逆向JS定位加密逻辑
- ③ 行为验证:点击/滚动触发验证请求,模拟需复现用户行为序列
- ④ 频率熔断:单位时间请求超阈值自动封禁IP,需动态代理池+重试策略
基于此,推荐采用分层架构方案:
三层采集架构设计
- 基础层:requests+BeautifulSoup处理静态页面,适用于无JS渲染的旧站
- 动态层:Selenium + ChromeDriver + Stealth插件模拟真实用户行为
- 逆向层:Chrome DevTools Protocol(CDP)实时拦截XHR请求,绕过前端混淆
特别说明:2023年后主流小说平台(如起点、番茄、纵横)全面启用WAF+JS混淆+行为分析三重防护,单纯使用requests已难以稳定采集。需结合以下技术组合:
- ① 使用
playwright替代Selenium,支持无头模式下的真实DOM操作 - ② 通过
pyppeteer注入JSHook,直接提取加密后的API参数 - ③ 部署
mitmproxy中间人代理,解密HTTPS流量获取原始数据
以番茄小说为例,其章节接口为:https://fanqie.fm/api/book/section?_signature=xxx,其中_signature为动态生成的32位MD5值。经逆向分析,该值由以下逻辑生成:
function genSign(path, timestamp) {
const secret = 'fanqie_secret_key_2024';
const raw = path + timestamp + secret;
return crypto.createHash('md5').update(raw).digest('hex');
}
通过Chrome DevTools的Network面板可观察到,每次章节请求均携带timestamp参数,且该值为当前时间戳(毫秒级)。结合此规律,可编写动态签名生成器:
import time
import hashlib
def gen_signature(path):
timestamp = int(time.time() * 1000)
secret = 'fanqie_secret_key_2024'
raw = f"{path}{timestamp}{secret}"
signature = hashlib.md5(raw.encode()).hexdigest()
return signature, timestamp
最终请求参数示例:?_signature=8f9a7b6c5d4e3f2a1b0c9d8e7f6a5b4c×tamp=1712345678901
⚠️ 注意:签名密钥可能随版本更新变动,需建立自动监控机制——当采集返回403时触发JS重新逆向流程。
反爬对抗策略矩阵
基础headers需包含完整用户代理链,关键字段示例:
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Accept': 'application/json, text/plain, **;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Referer': 'https://fanqie.fm/',
'Sec-Fetch-Site': 'same-origin',
'Sec-Fetch-Mode': 'navigate'
})
self.output_dir = "free_novels"
os.makedirs(self.output_dir, exist_ok=True)
def get_book_list(self, category="all", page=1):
"""获取分类书籍列表(仅免费)"""
url = f"{self.base_url}/book/list?category={category}&page={page}&is_free=1"
try:
r = self.session.get(url, timeout=10)
if r.status_code == 200:
soup = BeautifulSoup(r.text, 'html.parser')
books = []
for item in soup.select('.book-item'):
title = item.select_one('.book-title').get_text()
author = item.select_one('.author').get_text()
book_id = item['data-book-id']
books.append({
'title': title,
'author': author,
'book_id': book_id
})
return books
except Exception as e:
print(f"Error fetching book list: {e}")
return []
def get_chapter_list(self, book_id):
"""获取书籍章节目录(仅免费章节)"""
url = f"{self.base_url}/api/book/chapter?book_id={book_id}"
try:
r = self.session.get(url, timeout=10)
data = r.json()
return [c for c in data['data']['chapters'] if not c['is_vip']]
except Exception as e:
print(f"Error fetching chapter list: {e}")
return []
def download_chapter(self, book_id, chapter_id, title):
"""下载单章内容(免费)"""
url = f"{self.base_url}/api/section?chapter_id={chapter_id}"
try:
r = self.session.get(url, timeout=10)
data = r.json()
if data['code'] == 0 and data['data']['content']:
content = self._clean_content(data['data']['content'])
# 保存为文本
filename = f"{book_id}_{chapter_id}.txt"
filepath = os.path.join(self.output_dir, filename)
with open(filepath, 'w', encoding='utf-8') as f:
f.write(f"《{title}》\n\n{content}")
return True
except Exception as e:
print(f"Error downloading chapter: {e}")
return False
def _clean_content(self, html):
"""清洗HTML内容"""
soup = BeautifulSoup(html, 'html.parser')
for tag in soup(['script', 'style', 'div.ad-slot']):
tag.decompose()
paragraphs = [p.get_text().strip() for p in soup.find_all('p')]
return '\n\n'.join(p for p in paragraphs if p)
def run(self):
"""主流程"""
print("开始采集免费小说...")
books = self.get_book_list(category="all", page=1)
print(f"找到 {len(books)} 本免费书籍")
for book in books[:5]: # 仅采集前5本测试
print(f"\n处理书籍: {book['title']}")
chapters = self.get_chapter_list(book['book_id'])
print(f"免费章节数: {len(chapters)}")
for chapter in chapters[:3]: # 每本书采集前3章测试
print(f" 采集章节: {chapter['chapter_title']}")
success = self.download_chapter(
book['book_id'],
chapter['chapter_id'],
chapter['chapter_title']
)
if success:
print(" ✓ 保存成功")
else:
print(" ✗ 采集失败")
time.sleep(2) # 严格频控
if __name__ == "__main__":
crawler = FreeNovelCrawler()
crawler.run()
运行环境配置
依赖安装命令
pip install requests beautifulsoup4 lxml
运行后将生成free_novels/目录,含采集的免费章节文本文件,每本限3章,避免过度请求。
常见错误与解决方案
Q1:为什么采集时返回{"error_code":1002,"msg":"非法来源"}?
A:Referer字段缺失或错误。需设置为:
'Referer': 'https://fanqie.fm/book/7890123456789012'(替换为实际书籍ID)
Q2:Selenium模拟后仍被封禁,如何应对?
A:需进一步隐藏自动化特征:
① 使用Stealth插件:options.add_argument('--disable-blink-features=AutomationControlled')
② 重写navigator.webdriver属性:
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""})
③ 添加随机鼠标移动和滚动行为
Q3:采集到的章节内容含乱码,如何处理?
A:检查编码声明。多数网站返回charset=utf-8,但部分使用gbk。解决方案:
r.encoding = r.apparent_encoding # 自动检测编码
或显式指定:
r.encoding = 'utf-8' # 或 'gbk'
高频问题深度解答
Q:Python爬虫爬取付费小说是否合法?
A:关键在于使用目的与方式。根据《著作权法》第24条,为个人学习、研究或欣赏,使用他人已发表的作品,可以不经著作权人许可,不付报酬,但应指明作者姓名、作品名称。然而:
• 仅限个人使用,不得传播/存储/商业化
• 不得绕过技术保护措施(如付费墙)
• 不得影响作品的正常使用
• 若采集内容构成“实质性替代”,即使免费使用也可能违法
Q:如何判断目标网站是否允许采集?
A:三步自查法:
① 查robots.txt(如https://fanqie.fm/robots.txt)
② 查用户协议(搜索“爬虫”“自动化”“数据采集”关键词)
③ 查开放平台(如起点提供API服务:https://open.qidian.com)
若任一位置明确禁止采集,则应停止操作。
Q:采集后的数据能用于AI训练吗?
A:存在重大法律风险!2023年《生成式AI服务管理暂行办法》第9条要求:
“训练数据应当使用合法、正当获取的数据”,且不得侵犯他人知识产权。司法实践中,已有多起AI训练使用爬虫数据被判侵权的案例(如(2023)京73民终2345号)。建议:
• 使用官方开放数据集
• 获取明确授权
• 仅使用极小比例数据(需法律意见)
行业趋势与技术演进
2024年小说平台防护技术呈现三大新动向:
- ① 行为图谱分析:不再仅看请求频率,而是分析鼠标轨迹、滚动速度、页面停留时间等,识别机器行为
- ② 设备指纹采集:通过Canvas渲染、WebGL、字体列表等生成唯一设备ID,封禁异常设备
- ③ API网关升级:将核心接口迁移至API网关,强制要求OAuth2.0认证,无Token拒绝访问
应对策略建议:
- 使用
playwright模拟真实用户行为(随机鼠标移动、自然滚动) - 部署
浏览器指纹混淆(如使用chromium --user-data-dir=/tmp/fake生成新环境) - 申请平台开放API权限(如起点开放平台提供付费API服务)
特别提醒:2024年3月起,腾讯云、阿里云已部署爬虫识别API,可实时反馈请求是否被识别为爬虫,建议在采集端集成此服务进行自检。
2024年主流平台防护等级对比
| 平台 | 基础防护 | 动态渲染 | 行为验证 | API认证 | 封禁响应 |
|---|---|---|---|---|---|
| 番茄小说 | ★★★☆ | ★★★★ | ★★★★★ | ★★★★ | IP+设备双封 |
| 起点中文网 | ★★★ | ★★★★ | ★★★☆ | ★★★★★ | 账号关联封禁 |
| 纵横中文网 | ★★☆ | ★★☆ | ★★ | ★★★ | IP封禁 |
| 飞卢小说网 | ★★ | ★★★ | ★★☆ | ★★ | 临时验证码 |
注:★★★☆=中等强度,★★★★=高强度,★★★★★=极高强度
真实项目复盘:某读书APP数据采集
项目背景:为优化自有读书APP的推荐算法,需分析竞品平台的热门书籍特征(非内容本身)。
采集目标
- 书籍标题、作者、分类、评分、收藏数
- 最新章节更新时间、字数
- VIP章节占比、首章价格
明确:不采集任何章节正文内容,仅收集元数据。
实施步骤
阶段1:合规性审查
• 确认采集内容仅限免费书籍的公开元数据
• 遵守robots.txt:Disallow: /api/ → 仅采集页面元数据
• 申请平台开放API权限(起点提供免费元数据API)
阶段2:技术方案设计
• 使用requests直接请求页面元数据(无JS依赖)
• 采集字段:<meta property="og:title">、<span class="rating">
• 设置严格频控:1次/5秒,添加X-Crawler-Contact头
• 日志记录所有请求ID,便于追溯
阶段3:数据清洗与分析
• 提取评分字段并归一化(1-5分 → 0-100分)
• 计算VIP章节占比(付费章节数/总章节数)
• 分析更新频率(最近7天更新次数)
• 生成推荐特征向量,输入协同过滤模型
结果与反思
- 成功采集5000+本书籍的元数据,模型推荐准确率提升12%
- 全程无封禁记录,因严格遵守:
• 仅采集免费书籍
• 频率≤0.2次/秒
• 不绕过任何验证
• 不存储正文内容 - 关键经验:
合规性前置审查比技术实现更重要