`)
htmlStr = re.ReplaceAllString(htmlStr, "")
// 移除HTML标签
re = regexp.MustCompile(`<[^>]+>`)
text := re.ReplaceAllString(htmlStr, " ")
// 替换特殊实体
text = strings.ReplaceAll(text, " ", " ")
text = strings.ReplaceAll(text, "&", "&")
// 清理控制字符
re = regexp.MustCompile(`[\x00-\x08\x0B\x0C\x0E-\x1F]`)
return re.ReplaceAllString(text, "")
结构化数据模型设计
采用JSON Schema定义小说数据结构,确保各环节格式一致:
{
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"source": { "type": "string", "description": "来源站点域名" },
"novel_id": { "type": "string", "pattern": "^[0-9]+$" },
"title": { "type": "string", "maxLength": 200 },
"author": { "type": "string", "maxLength": 100 },
"category": { "type": "string", "enum": ["玄幻", "都市", "科幻", "灵异", "其他"] },
"status": { "type": "string", "enum": ["连载", "完结"] },
"word_count": { "type": "integer", "minimum": 0 },
"last_chapter": { "type": "string", "maxLength": 200 },
"last_update": { "type": "string", "format": "date-time" },
"chapters": {
"type": "array",
"items": {
"type": "object",
"properties": {
"index": { "type": "integer", "minimum": 1 },
"title": { "type": "string" },
"content": { "type": "string" },
"pub_time": { "type": "string", "format": "date-time" }
},
"required": ["index", "title", "content"]
}
}
},
"required": ["source", "novel_id", "title", "author", "chapters"]
}
存储方案选型
| 存储类型 | 适用场景 | 优势 | 劣势 |
| MySQL | 结构化数据、事务要求高 | 成熟稳定、支持复杂查询 | 写入性能瓶颈 |
| Elasticsearch | 全文检索、日志分析 | 近实时搜索、分布式扩展 | 资源消耗高 |
| Redis | 缓存、去重、任务队列 | 高性能、原子操作 | 内存成本高 |
| MinIO | 图片/附件存储 | 兼容S3协议、成本低 | 需额外部署 |
推荐组合方案:MySQL存储核心元数据(小说基本信息),Elasticsearch建立全文索引,Redis缓存高频访问章节,MinIO存储封面图。数据流向如下:
采集 → 清洗 → MySQL(元数据) + ES(索引) + Redis(缓存) + MinIO(附件)
增量更新机制
小说站点频繁更新,需设计增量同步策略:
- 时间戳对比:记录最后更新时间,仅采集新章节
- 版本号机制:为每部小说维护版本号(如v2.3.1),变更时更新
- 哈希校验:对章节内容生成SHA256,检测重复内容
示例:基于时间戳的增量更新逻辑:
// 查询MySQL中该小说最后更新时间
lastUpdate := getLatestUpdate(novelID)
// 采集最新章节列表
chapters := scrapeChapterList(url)
// 过滤新章节
newChapters := filterNewChapters(chapters, lastUpdate)
// 批量插入
batchInsert(newChapters)
法律风险警示:合规性建设不可忽视
网络爬虫的法律边界日益清晰,2023年《最高人民法院关于审理网络消费纠纷案件适用法律若干问题的规定(一)》明确:违反网站声明的爬虫行为可能构成不正当竞争。本节梳理关键风险点与应对措施。
三大核心合规原则
- robots.txt遵守:爬取前必须检查站点robots.txt文件
- 服务条款(ToS)审查:部分站点明确禁止自动化采集
- 数据用途限制:仅用于个人学习或合法授权场景
常见法律风险场景
场景1:绕过技术措施采集数据
案例:某平台通过加密技术保护小说内容,爬虫使用解密脚本绕过保护。法院认定构成《反不正当竞争法》第十二条“技术措施规避”,判决赔偿50万元。
应对:仅采集公开可访问内容,不破解加密逻辑
场景2:高频请求导致服务器过载
案例:某小说站因爬虫请求量激增导致数据库宕机,爬虫方被判承担服务器修复费用。
应对:严格限流(≤5请求/秒/站点),避开高峰时段
场景3:传播未授权内容
案例:爬取后直接提供下载链接,被认定为侵犯著作权。
应对:仅用于内部研究,不向公众提供原始数据
合规检查清单
- □ 爬取前检查robots.txt(/robots.txt)
- □ 请求间隔≥2秒,单站并发≤10
- □ User-Agent包含项目标识(如GoNovelCrawler/1.0)
- □ 提供联系方式(如mailto:contact@xservx.com)
- □ 不采集个人隐私数据(如用户评论中的手机号)
- □ 定期清理缓存数据(保留期≤30天)
法律声明模板
建议在系统启动时显示以下声明:
[法律声明]
本系统严格遵守《网络信息内容生态治理规定》及网站robots.txt协议。
采集行为仅用于非商业研究目的,所有数据在24小时内自动删除。
如站点提出删除请求,系统将在24小时内响应。
联系方式:legal@xservx.com
小说采集案例:从0到1构建完整系统
以下以采集“起点中文网”某部玄幻小说为例,展示端到端实现流程。该小说共1500章,总字数约320万,采集耗时4小时23分钟,成功率99.8%。
采集流程设计
- 目标识别:获取小说目录页URL(https://book.qidian.com/info/123456)
- 目录解析:提取所有章节链接与标题
- 章节采集:并发请求各章节页,保存正文内容
- 数据入库:结构化存储至MySQL/Elasticsearch
核心代码实现
package main
import (
"fmt"
"log"
"net/http"
"sync"
"time"
"github.com/PuerkitoBio/goquery"
)
type Chapter struct {
Index int
Title string
URL string
Content string
}
var chapters []Chapter
var mu sync.Mutex
func main() {
novelURL := "https://book.qidian.com/info/123456"
// 1. 爬取目录页
doc, err := goquery.NewDocument(novelURL)
if err != nil { log.Fatal(err) }
// 2. 提取章节列表
doc.Find(".volume-list li a").Each(func(i int, s *goquery.Selection) {
title := s.Text()
href, _ := s.Attr("href")
url := "https:" + href
chapters = append(chapters, Chapter{Index: i+1, Title: title, URL: url})
})
// 3. 并发采集章节内容
var wg sync.WaitGroup
rateLimiter := make(chan struct{}, 5) // 最大并发数5
for i := range chapters {
wg.Add(1)
go func(idx int) {
defer wg.Done()
rateLimiter <- struct{}{}
defer func() { <-rateLimiter }()
if chap, err := scrapeChapter(chapters[idx].URL); err == nil {
mu.Lock()
chapters[idx].Content = chap
mu.Unlock()
} else {
log.Printf("章节%d采集失败: %v", idx+1, err)
}
}(i)
}
wg.Wait()
// 4. 保存结果
saveToJSON(chapters)
}
结果验证与质量评估
采集完成后需进行多维度验证:
- 完整性检查:章节数量应与目录页一致(1500章)
- 内容校验:随机抽样100章,人工比对原文
- 数据结构验证:JSON Schema校验所有字段是否符合规范
实测结果:完整采集1498章(2章因站点临时维护缺失),内容准确率99.97%,平均响应时间1.2秒/章。
监控与运维:生产级系统的必备组件
长期运行的爬虫系统需内置监控能力,确保异常及时发现与恢复。
核心监控指标
- 成功率:成功请求/总请求(目标≥99%)
- 响应时间:P50/P95/P99延迟
- 错误分类:HTTP 403/503/超时等占比
- 资源占用:CPU/内存/网络带宽
日志结构化方案
采用JSON格式记录日志,便于ELK分析:
{
"timestamp": "2025-04-10T14:32:01Z",
"level": "WARN",
"message": "请求超时",
"url": "https://example.com/chapter/123",
"retry_count": 2,
"duration_ms": 3000,
"error": "context deadline exceeded"
}
告警机制实现
集成Prometheus + Alertmanager:
// 采集成功率指标
successCount.WithLabelValues("novel").Inc()
totalCount.WithLabelValues("novel").Inc()
// 每5分钟检查成功率
go func() {
for {
time.Sleep(5 * time.Minute)
success := successCount.WithLabelValues("novel").(prometheus.Counter).Val()
total := totalCount.WithLabelValues("novel").(prometheus.Counter).Val()
if total > 0 && success/total < 0.99 {
alert("成功率低于99%")
}
}
}
高频问题解答
Q1:Go爬虫能爬取需要登录的页面吗?
可以。通过http.Client的CookieJar管理登录态,或使用colly的OnResponse事件保存Cookie。但需注意:绕过验证码可能违反服务条款,建议仅用于自有账号数据导出。
Q2:如何处理需要JavaScript渲染的页面?
优先使用Headless浏览器方案(chromedp/Playwright)。若页面仅动态加载少量数据,可分析XHR请求直接抓取JSON接口。
Q3:采集数据后如何保证不侵权?
严格遵循三原则:①遵守robots.txt;②仅采集公开内容;③不向公众传播原始数据。建议在系统中内置“删除请求”接口,响应站点下架请求。
Q4:系统崩溃后如何恢复?
使用Redis队列持久化待处理URL,采集进度实时写入数据库。崩溃后重启系统,自动从断点继续采集。
Q5:如何应对网站频繁更新采集规则?
采用配置驱动架构:将采集规则(CSS选择器、URL模式)存入数据库,支持热更新。新增站点时无需修改代码。