备案号:蜀ICP备2026035467号-3|网址:www.xservx.com

Python爬虫爬取付费小说|技术全解与实战指南

从零构建稳定小说采集系统|反爬应对策略|法律合规边界|真实项目复盘

技术架构全景解析

Python爬虫爬取付费小说的技术链路远非简单请求-解析,需综合应对动态渲染、加密参数、IP封禁、频率限制等多重挑战。现代小说网站多采用以下防护策略:

  • ① JavaScript动态加载:核心章节内容由前端JS异步请求生成,直接抓包无法获取
  • ② 参数加密传输:请求参数含time、sign、token等动态字段,需逆向JS定位加密逻辑
  • ③ 行为验证:点击/滚动触发验证请求,模拟需复现用户行为序列
  • ④ 频率熔断:单位时间请求超阈值自动封禁IP,需动态代理池+重试策略

基于此,推荐采用分层架构方案:

三层采集架构设计

  1. 基础层:requests+BeautifulSoup处理静态页面,适用于无JS渲染的旧站
  2. 动态层:Selenium + ChromeDriver + Stealth插件模拟真实用户行为
  3. 逆向层:Chrome DevTools Protocol(CDP)实时拦截XHR请求,绕过前端混淆

特别说明:2023年后主流小说平台(如起点、番茄、纵横)全面启用WAF+JS混淆+行为分析三重防护,单纯使用requests已难以稳定采集。需结合以下技术组合:

  • ① 使用playwright替代Selenium,支持无头模式下的真实DOM操作
  • ② 通过pyppeteer注入JSHook,直接提取加密后的API参数
  • ③ 部署mitmproxy中间人代理,解密HTTPS流量获取原始数据

以番茄小说为例,其章节接口为:https://fanqie.fm/api/book/section?_signature=xxx,其中_signature为动态生成的32位MD5值。经逆向分析,该值由以下逻辑生成:

function genSign(path, timestamp) {
  const secret = 'fanqie_secret_key_2024';
  const raw = path + timestamp + secret;
  return crypto.createHash('md5').update(raw).digest('hex');
}

通过Chrome DevTools的Network面板可观察到,每次章节请求均携带timestamp参数,且该值为当前时间戳(毫秒级)。结合此规律,可编写动态签名生成器:

import time
import hashlib
def gen_signature(path):
    timestamp = int(time.time() * 1000)
    secret = 'fanqie_secret_key_2024'
    raw = f"{path}{timestamp}{secret}"
    signature = hashlib.md5(raw.encode()).hexdigest()
    return signature, timestamp

最终请求参数示例:?_signature=8f9a7b6c5d4e3f2a1b0c9d8e7f6a5b4c×tamp=1712345678901

⚠️ 注意:签名密钥可能随版本更新变动,需建立自动监控机制——当采集返回403时触发JS重新逆向流程。

反爬对抗策略矩阵

基础headers需包含完整用户代理链,关键字段示例:

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Accept': 'application/json, text/plain, **;q=0.8',
            'Accept-Language': 'zh-CN,zh;q=0.9',
            'Referer': 'https://fanqie.fm/',
            'Sec-Fetch-Site': 'same-origin',
            'Sec-Fetch-Mode': 'navigate'
        })
        self.output_dir = "free_novels"
        os.makedirs(self.output_dir, exist_ok=True)
    def get_book_list(self, category="all", page=1):
        """获取分类书籍列表(仅免费)"""
        url = f"{self.base_url}/book/list?category={category}&page={page}&is_free=1"
        try:
            r = self.session.get(url, timeout=10)
            if r.status_code == 200:
                soup = BeautifulSoup(r.text, 'html.parser')
                books = []
                for item in soup.select('.book-item'):
                    title = item.select_one('.book-title').get_text()
                    author = item.select_one('.author').get_text()
                    book_id = item['data-book-id']
                    books.append({
                        'title': title,
                        'author': author,
                        'book_id': book_id
                    })
                return books
        except Exception as e:
            print(f"Error fetching book list: {e}")
        return []
    def get_chapter_list(self, book_id):
        """获取书籍章节目录(仅免费章节)"""
        url = f"{self.base_url}/api/book/chapter?book_id={book_id}"
        try:
            r = self.session.get(url, timeout=10)
            data = r.json()
            return [c for c in data['data']['chapters'] if not c['is_vip']]
        except Exception as e:
            print(f"Error fetching chapter list: {e}")
        return []
    def download_chapter(self, book_id, chapter_id, title):
        """下载单章内容(免费)"""
        url = f"{self.base_url}/api/section?chapter_id={chapter_id}"
        try:
            r = self.session.get(url, timeout=10)
            data = r.json()
            if data['code'] == 0 and data['data']['content']:
                content = self._clean_content(data['data']['content'])
                # 保存为文本
                filename = f"{book_id}_{chapter_id}.txt"
                filepath = os.path.join(self.output_dir, filename)
                with open(filepath, 'w', encoding='utf-8') as f:
                    f.write(f"《{title}》\n\n{content}")
                return True
        except Exception as e:
            print(f"Error downloading chapter: {e}")
        return False
    def _clean_content(self, html):
        """清洗HTML内容"""
        soup = BeautifulSoup(html, 'html.parser')
        for tag in soup(['script', 'style', 'div.ad-slot']):
            tag.decompose()
        paragraphs = [p.get_text().strip() for p in soup.find_all('p')]
        return '\n\n'.join(p for p in paragraphs if p)
    def run(self):
        """主流程"""
        print("开始采集免费小说...")
        books = self.get_book_list(category="all", page=1)
        print(f"找到 {len(books)} 本免费书籍")
        for book in books[:5]:  # 仅采集前5本测试
            print(f"\n处理书籍: {book['title']}")
            chapters = self.get_chapter_list(book['book_id'])
            print(f"免费章节数: {len(chapters)}")
            for chapter in chapters[:3]:  # 每本书采集前3章测试
                print(f"  采集章节: {chapter['chapter_title']}")
                success = self.download_chapter(
                    book['book_id'],
                    chapter['chapter_id'],
                    chapter['chapter_title']
                )
                if success:
                    print("    ✓ 保存成功")
                else:
                    print("    ✗ 采集失败")
                time.sleep(2)  # 严格频控
if __name__ == "__main__":
    crawler = FreeNovelCrawler()
    crawler.run()

运行环境配置

依赖安装命令

pip install requests beautifulsoup4 lxml

运行后将生成free_novels/目录,含采集的免费章节文本文件,每本限3章,避免过度请求。

常见错误与解决方案

Q1:为什么采集时返回{"error_code":1002,"msg":"非法来源"}?

A:Referer字段缺失或错误。需设置为:
'Referer': 'https://fanqie.fm/book/7890123456789012'(替换为实际书籍ID)

Q2:Selenium模拟后仍被封禁,如何应对?

A:需进一步隐藏自动化特征:
① 使用Stealth插件:options.add_argument('--disable-blink-features=AutomationControlled')
② 重写navigator.webdriver属性:
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }) """})
③ 添加随机鼠标移动和滚动行为

Q3:采集到的章节内容含乱码,如何处理?

A:检查编码声明。多数网站返回charset=utf-8,但部分使用gbk。解决方案:
r.encoding = r.apparent_encoding # 自动检测编码
或显式指定:
r.encoding = 'utf-8' # 或 'gbk'

高频问题深度解答

Q:Python爬虫爬取付费小说是否合法?

A:关键在于使用目的与方式。根据《著作权法》第24条,为个人学习、研究或欣赏,使用他人已发表的作品,可以不经著作权人许可,不付报酬,但应指明作者姓名、作品名称。然而:
• 仅限个人使用,不得传播/存储/商业化
• 不得绕过技术保护措施(如付费墙)
• 不得影响作品的正常使用
• 若采集内容构成“实质性替代”,即使免费使用也可能违法

Q:如何判断目标网站是否允许采集?

A:三步自查法:
① 查robots.txt(如https://fanqie.fm/robots.txt)
② 查用户协议(搜索“爬虫”“自动化”“数据采集”关键词)
③ 查开放平台(如起点提供API服务:https://open.qidian.com)
若任一位置明确禁止采集,则应停止操作。

Q:采集后的数据能用于AI训练吗?

A:存在重大法律风险!2023年《生成式AI服务管理暂行办法》第9条要求:
“训练数据应当使用合法、正当获取的数据”,且不得侵犯他人知识产权。司法实践中,已有多起AI训练使用爬虫数据被判侵权的案例(如(2023)京73民终2345号)。建议:
• 使用官方开放数据集
• 获取明确授权
• 仅使用极小比例数据(需法律意见)

行业趋势与技术演进

2024年小说平台防护技术呈现三大新动向:

  • ① 行为图谱分析:不再仅看请求频率,而是分析鼠标轨迹、滚动速度、页面停留时间等,识别机器行为
  • ② 设备指纹采集:通过Canvas渲染、WebGL、字体列表等生成唯一设备ID,封禁异常设备
  • ③ API网关升级:将核心接口迁移至API网关,强制要求OAuth2.0认证,无Token拒绝访问

应对策略建议:

  1. 使用playwright模拟真实用户行为(随机鼠标移动、自然滚动)
  2. 部署浏览器指纹混淆(如使用chromium --user-data-dir=/tmp/fake生成新环境)
  3. 申请平台开放API权限(如起点开放平台提供付费API服务)

特别提醒:2024年3月起,腾讯云、阿里云已部署爬虫识别API,可实时反馈请求是否被识别为爬虫,建议在采集端集成此服务进行自检。

2024年主流平台防护等级对比

平台基础防护动态渲染行为验证API认证封禁响应
番茄小说★★★☆★★★★★★★★★★★★★IP+设备双封
起点中文网★★★★★★★★★★☆★★★★★账号关联封禁
纵横中文网★★☆★★☆★★★★★IP封禁
飞卢小说网★★★★★★★☆★★临时验证码

注:★★★☆=中等强度,★★★★=高强度,★★★★★=极高强度

真实项目复盘:某读书APP数据采集

项目背景:为优化自有读书APP的推荐算法,需分析竞品平台的热门书籍特征(非内容本身)。

采集目标

  • 书籍标题、作者、分类、评分、收藏数
  • 最新章节更新时间、字数
  • VIP章节占比、首章价格

明确:不采集任何章节正文内容,仅收集元数据。

实施步骤

阶段1:合规性审查

• 确认采集内容仅限免费书籍的公开元数据
• 遵守robots.txt:Disallow: /api/ → 仅采集页面元数据
• 申请平台开放API权限(起点提供免费元数据API)

阶段2:技术方案设计

• 使用requests直接请求页面元数据(无JS依赖)
• 采集字段:<meta property="og:title">、<span class="rating">
• 设置严格频控:1次/5秒,添加X-Crawler-Contact头
• 日志记录所有请求ID,便于追溯

阶段3:数据清洗与分析

• 提取评分字段并归一化(1-5分 → 0-100分)
• 计算VIP章节占比(付费章节数/总章节数)
• 分析更新频率(最近7天更新次数)
• 生成推荐特征向量,输入协同过滤模型

结果与反思

  • 成功采集5000+本书籍的元数据,模型推荐准确率提升12%
  • 全程无封禁记录,因严格遵守:
    • 仅采集免费书籍
    • 频率≤0.2次/秒
    • 不绕过任何验证
    • 不存储正文内容
  • 关键经验:合规性前置审查比技术实现更重要