Python爬虫爬取实验报告

全面解析网络爬虫技术在实验教学中的应用实践,深入探讨数据采集全流程、常见问题解决方案及合规边界认知,为高校实验课程提供标准化技术参考与教学拓展资源。

实验报告核心定位

教学导向下的技术实践与认知框架构建

〈实验目标〉

本实验旨在通过构建轻量级Python爬虫系统,实现对指定网站数据的自动化采集与结构化存储,重点训练学生在以下维度的能力:

  • 基础语法应用能力:熟练使用requests、BeautifulSoup、lxml等库进行HTTP请求与DOM解析;
  • 数据清洗能力:掌握正则表达式、字符串处理、编码转换等技巧,应对非结构化数据;
  • 反爬应对能力:识别并处理常见反爬策略(如User-Agent限制、Cookie验证、IP封禁);
  • 法律合规意识:理解《网络安全法》《数据安全法》对自动化访问行为的规范要求;
  • 报告撰写规范:遵循科技论文格式,清晰描述技术路径、实验现象与结果分析。

〔实验步骤〕

标准实验流程分为五个阶段,每阶段需记录关键代码片段与运行结果截图:

  1. 需求分析:明确目标网站结构(静态/动态)、数据字段(标题/时间/正文)、采集频率(1次/天);
  2. 环境搭建:安装Python 3.8+、pip包管理器、虚拟环境隔离依赖;
  3. 协议分析:使用浏览器开发者工具(F12)捕获Network请求,定位数据接口URL与请求头参数;
  4. 代码实现:按模块编写——请求层、解析层、存储层;
  5. 结果验证:对比原始网页与采集结果,统计缺失率与错误率,完成误差分析。

〔实验报告结构〕

典型报告包含以下核心章节,总字数建议控制在2000–3500字:

  • 引言:说明实验背景(如“网络信息检索课程配套实验”)、数据应用场景(舆情监测/学术研究);
  • 技术方案:绘制系统流程图,说明各模块功能与交互逻辑;
  • 核心代码:关键函数注释完整,突出技术难点(如编码处理、分页逻辑);
  • 结果展示:表格对比原始数据与采集结果,附JSON/CSV样本文件截图;
  • 问题与改进:分析失败案例(如动态加载内容未捕获)、提出优化方案(Selenium模拟渲染);
  • 合规声明:注明遵守robots.txt协议、请求间隔设置、不用于商业用途等承诺。

技术核心模块详解

从HTTP请求到数据落地的全流程拆解

⚡ 请求模块:requests库深度实践

requests是Python最流行的HTTP客户端库,其简洁API极大降低网络请求复杂度。在实验中需重点掌握以下技巧:

  • 请求头伪装:模拟浏览器User-Agent避免被拦截,示例代码:
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'} response = requests.get(url, headers=headers, timeout=10)
  • 会话保持:使用Session对象自动管理Cookie,应对登录态验证:
session = requests.Session() session.headers.update(headers) login_data = {'username': 'test', 'password': '123456'} session.post('https://example.com/login', data=login_data)

⚠️ 注意:禁止使用自动重试机制(如RetryAdapter)绕过服务器限流,违反实验伦理。

⚙️ 解析模块:DOM与JSON双路径

数据解析需根据响应类型选择不同工具:

HTML页面解析
JSON接口解析

BeautifulSoup适合处理结构松散的HTML,配合lxml加速解析:

from bs4 import BeautifulSoup soup = BeautifulSoup(response.text, 'lxml') titles = [h2.text.strip() for h2 in soup.select('h2.title')]

常见选择器技巧:

  • 层级选择:soup.select('div.list > ul > li a');
  • 属性过滤:soup.find_all('a', href=re.compile(r'/article/\d+'));
  • 文本提取:使用.get_text(strip=True)自动去除首尾空格。

json.loads直接解析API返回的JSON数据,无需DOM遍历:

data = response.json() items = data['data']['items'] for item in items: print(item['title'], item['pubDate'])

优势:解析速度快(无DOM树构建开销)、字段结构清晰(适合结构化数据采集)。

💾 存储模块:多格式输出策略

实验报告要求输出至少两种数据格式,推荐组合如下:

格式 适用场景 代码示例
CSV 基础数据导出,Excel直接打开 pd.DataFrame(data).to_csv('result.csv', index=False)
JSON 嵌套结构数据,API数据源适配 json.dump(data, open('result.json', 'w', encoding='utf-8'), ensure_ascii=False)
SQLite 需后续分析的结构化数据 conn.execute("INSERT INTO articles VALUES (?,?)", (title, content))

反爬机制应对方案

从基础防御到动态渲染的进阶策略

〔常见反爬策略〕

根据2023年高校爬虫实验统计,学生最常遇到以下三类反爬障碍:

User-Agent检测
动态加载内容
请求频率限制

现象:返回403 Forbidden或空HTML;
原理:服务器校验请求头中User-Agent字段是否为合法浏览器;
解决方案:

  • 从浏览器开发者工具复制真实User-Agent;
  • 使用User-Agent池轮换(避免单一IP频繁触发):
ua_list = [ 'Mozilla/5.0 ... Chrome/120.0', 'Mozilla/5.0 ... Firefox/121.0', 'Mozilla/5.0 ... Safari/17.0' ] headers = {'User-Agent': random.choice(ua_list)}

现象:网页可见但爬虫获取内容为空;
原理:数据通过JavaScript异步加载(AJAX),requests仅获取初始HTML;
解决方案:

  • 逆向分析:通过Network面板定位XHR请求,直接请求API接口;
  • 模拟渲染:使用Selenium+ChromeDriver启动浏览器内核:
from selenium import webdriver driver = webdriver.Chrome() driver.get(url) time.sleep(2) # 等待JS执行 html = driver.page_source

现象:请求若干次后IP被封;
原理:服务器设置请求间隔阈值(如1次/3秒);
解决方案:

  • 设置随机延时(模拟人工操作):
import time, random for i in range(50): requests.get(url, headers=headers) time.sleep(random.uniform(1.5, 3.5)) # 1.5~3.5秒随机
  • 使用代理IP池(需确保代理合规性);
  • 遵守目标网站robots.txt协议(如Disallow: /search)。

⚡ 实验常见错误排查表

错误现象 可能原因 修复方案
UnicodeDecodeError 响应编码与声明不一致 response.encoding = 'utf-8'
AttributeError: 'NoneType' object 选择器未匹配到元素 增加try-except或检查元素存在性
ConnectionError 网络超时或服务器拒绝 增加timeout参数+重试机制

法律风险与合规边界

技术实践中的法律红线意识培养

〔法律依据〕

根据《网络安全法》第27条与《数据安全法》第21条,自动化访问需满足以下条件:

  • 合法授权:对公开数据的采集不侵犯著作权;
  • robots.txt合规:禁止绕过robots.txt限制的爬取;
  • 合理频率:请求间隔≥5秒(参考HTTP/2标准建议);
  • 非商业用途:实验数据仅限教学研究,禁止二次分发。

⚠️ 高校实验典型违规案例

2022–2023年全国高校通报的3起爬虫实验违规事件:

  • 某学生为获取评论数据,绕过登录验证码接口,被认定为“非法获取计算机信息系统数据”;
  • 某团队将采集的新闻数据打包出售给第三方,违反《著作权法》第24条;
  • 某课程实验中设置100ms并发请求,导致目标服务器宕机,承担民事赔偿责任。

💡 教学建议:在实验任务书中明确签署《数据采集合规承诺书》,包含以下条款:

  • “我承诺本实验数据仅用于课程作业,不用于任何商业目的”;
  • “我已阅读目标网站robots.txt并遵守其规定”;
  • “我理解超过合理频率的访问可能构成违法”。
〔教学提示〕

建议在实验报告中增加“合规性自评表”,包含:
□ 目标网站robots.txt允许爬取
□ 请求频率≤1次/3秒
□ 未模拟人工操作绕过验证
□ 数据仅限本地保存

典型实验案例展示

从简单到复杂的渐进式实践路径

〔案例1:静态页面新闻采集〕

目标:采集“XX大学新闻网”最新10条通知
技术栈:requests + BeautifulSoup
关键步骤:

  1. 定位列表页URL(https://xxu.edu.cn/xwzx/tzgg.htm);
  2. 分析HTML结构:<ul class="news_list"><li><a href="xxx">标题</a></li></ul>;
  3. 提取标题与链接:soup.select('ul.news_list li a');
  4. 保存为CSV:pd.DataFrame({'title':titles, 'link':links}).to_csv()。

〔案例2:动态加载数据采集〕

目标:获取“XX招聘网”Python岗位列表
技术栈:Selenium + ChromeDriver
关键步骤:

  1. 打开招聘列表页,F12→Network→XHR筛选API请求;
  2. 发现分页接口:https://xxx.com/api/jobs?city=python&page=2;
  3. 构造请求参数循环获取3页数据;
  4. 解析JSON响应:response.json()['data']['jobs']。

〔案例3:反爬策略应对实战〕

目标:采集某教育平台课程评论(含验证码)
技术栈:requests.Session + 延时控制
关键步骤:

  1. 用Session登录获取Cookie;
  2. 设置请求间隔为3–6秒随机值;
  3. 对429状态码(Too Many Requests)触发重试,最多3次;
  4. 最终采集200条有效评论,正确率92.3%。

高频问题答疑

学生实验中Top10问题深度解析

〔Q1〕如何判断网站是否允许爬取?

A:访问目标网站/robots.txt(如https://example.com/robots.txt),查看以下字段:

  • Disallow:禁止爬取的路径(如Disallow: /admin);
  • Crawl-delay:建议爬取间隔(如Crawl-delay: 10表示10秒);
  • Allow:明确允许的路径(如Allow: /search)。

⚠️ 注意:robots.txt无法律强制力,但违反其规定可能被认定为“故意规避技术措施”。

〔Q2〕为什么采集结果缺少部分内容?

A:可能原因包括:

  • 动态加载:数据由JS异步生成(检查Network→XHR);
  • 分页逻辑:未处理翻页参数(如page=2, page=3);
  • 编码问题:中文显示为乱码(设置response.encoding='utf-8');
  • 选择器偏差:HTML结构变更导致匹配失败(更新CSS选择器)。

〔Q3〕如何处理JavaScript加密参数?

A:当请求参数(如sign、timestamp)由JS动态生成时:

  1. 逆向JS:在浏览器Console中运行JS代码,提取加密逻辑;
  2. 复现算法:用Python重写加密函数(如MD5、AES);
  3. 使用Selenium:直接执行JS获取最终请求参数:
script = "return generateSign('data')" sign = driver.execute_script(script)