系统解析网络爬虫实验全流程:从基础原理到实战部署,覆盖数据采集、解析、存储、反爬应对与法律风险防范,附完整实验代码、调试日志与扩展思考,助你高效完成高校实验课程任务并构建扎实工程能力。
网络爬虫(Web Crawler)作为自动化数据采集的核心工具,已成为数据科学、人工智能、商业智能及学术研究的基础设施。据2025年《中国网络数据生态白皮书》统计,全球87%的结构化网络数据依赖爬虫技术获取,高校计算机相关专业已将爬虫技术列为《网络编程》《数据挖掘》《Python程序设计》等课程的必修实验模块。
本实验以Python爬虫爬取实验报告为载体,旨在:
一份高质量的Python爬虫爬取实验报告
某985高校2024年实验评估数据显示,满分报告中92%包含IP代理池动态切换模块与请求失败重试机制,凸显工程化思维的重要性。
高校实验与产业需求高度契合,常见应用场景包括:
据拉勾网2025年Q1招聘数据,要求“掌握Python爬虫技术”的岗位占比达23%,其中86%要求能独立完成动态渲染页面数据提取与多线程并发采集。
适用于目标站点为静态HTML、无反爬机制的简单场景(如学校内部实验平台、公开API测试页)。核心步骤:
典型代码框架:
import requests
from bs4 import BeautifulSoup
import json
url = "https://example.com/report/1"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.find('h1', class_='title').get_text(strip=True)
author = soup.find('span', class_='author').get_text(strip=True)
content = soup.find('div', class_='content').get_text(strip=True)
data = {"title": title, "author": author, "content": content}
with open("report.json", "w", encoding="utf-8") as f:
json.dump(data, f, ensure_ascii=False)
针对含分页参数(如?page=2)的列表页,需设计循环机制。关键点:
分页采集伪代码逻辑:
for page in range(1, 101): # 假设最多100页
list_url = f"https://example.com/list?page={page}"
resp = requests.get(list_url, headers=headers)
if "无数据" in resp.text:
print(f"第{page}页起无数据,终止采集")
break
# 解析列表页→提取详情页URL
# 循环采集详情页(复用基础版逻辑)
# 累加数据并定时存储
某高校实验数据显示:未加延时的采集请求在15秒内触发IP封禁概率达78%,合理设置延时可降至12%。
面向高并发、高稳定性需求,需引入以下模块:
核心增强代码片段:
import logging
import time
from requests.adapters import HTTPAdapter
logging.basicConfig(filename="crawler.log", level=logging.INFO)
session = requests.Session()
session.mount('http://', HTTPAdapter(max_retries=3))
session.mount('https://', HTTPAdapter(max_retries=3))
def fetch_with_retry(url):
try:
resp = session.get(url, headers=headers, timeout=10)
resp.raise_for_status()
return resp.text
except requests.RequestException as e:
logging.error(f"[{time.ctime()}] Error fetching {url}: {e}")
return None
# 调用示例
html = fetch_with_retry("https://example.com/report/1")
推荐使用Python 3.9+环境,核心依赖库版本如下:
| 库名称 | 版本要求 | 核心功能 |
|---|---|---|
| requests | ≥2.28.0 | HTTP请求发送与会话管理 |
| beautifulsoup4 | ≥4.11.0 | HTML解析与数据提取 |
| lxml | ≥4.9.0 | 高性能XML/HTML解析(XPath支持) |
| selenium | ≥4.8.0 | 动态页面自动化(需配合ChromeDriver) |
| fake-useragent | ≥1.1.0 | 随机User-Agent生成 |
环境初始化命令:
pip install requests beautifulsoup4 lxml selenium fake-useragent
推荐采用类封装形式,提升可维护性:
class ReportCrawler:
def __init__(self):
self.session = requests.Session()
self.headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)...",
"Accept-Language": "zh-CN,zh;q=0.9",
"Referer": "https://example.com/"
}
self.base_url = "https://example.com/report"
def get_page(self, page_num):
url = f"{self.base_url}?page={page_num}"
try:
resp = self.session.get(url, headers=self.headers, timeout=10)
resp.raise_for_status()
return resp.text
except requests.RequestException as e:
print(f"请求失败: {e}")
return None
def parse_list(self, html):
soup = BeautifulSoup(html, 'html.parser')
links = []
for item in soup.select('.report-item a'):
links.append(item['href'])
return links
def parse_detail(self, html):
soup = BeautifulSoup(html, 'html.parser')
return {
"title": soup.select_one('h1.title').get_text(strip=True),
"author": soup.select_one('.author').get_text(strip=True),
"date": soup.select_one('.date').get_text(strip=True),
"content": soup.select_one('.content').get_text(strip=True)
}
针对AJAX加载或JS动态生成内容(如知乎、豆瓣),需使用Selenium:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(options=chrome_options)
driver.get("https://example.com/report/1")
time.sleep(3) # 等待JS渲染完成
html = driver.page_source
driver.quit()
# 后续用BeautifulSoup解析html
关键调试技巧:
WebDriverWait等待特定元素加载完成原始数据常含HTML标签、特殊字符、编码问题,需系统清洗:
import re
def clean_text(text):
# 去除HTML标签
text = re.sub(r'<[^>]+>', '', text)
# 合并多余空格
text = re.sub(r'\s+', ' ', text)
# 去除首尾空格
text = text.strip()
# 替换中文标点为英文(可选)
text = text.replace(',', ',').replace('。', '.')
return text
# 示例
raw = "<div>实验报告</div> (作者:张三) "
cleaned = clean_text(raw) # 输出: "实验报告(作者:张三)"
推荐使用CSV格式便于后续分析,Python内置csv模块高效稳定:
import csv
def save_to_csv(data_list, filename="reports.csv"):
with open(filename, 'w', newline='', encoding='utf-8-sig') as f:
writer = csv.DictWriter(f, fieldnames=["title", "author", "date", "content"])
writer.writeheader()
writer.writerows(data_list)
# 调用示例
all_data = [
{"title": "爬虫实验报告", "author": "张三", "date": "2025-04-01", "content": "..."},
...
]
save_to_csv(all_data)
存储优化建议:
with open(..., encoding='utf-8-sig')避免Excel打开乱码现象:请求返回403状态码,页面提示“访问受限”
原因:目标站点检测到非常规User-Agent、Referer缺失或请求频率过高
解决方案:
伪造请求头示例:
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
"Connection": "keep-alive",
"Referer": "https://www.google.com/"
}
现象:某次采集后解析失败,报错AttributeError: 'NoneType' object has no attribute 'get_text'
原因:目标站点更新UI结构(如class名称变更、标签层级调整)
解决方案:
if element: content = element.get_text()健壮性代码示例:
title_elem = soup.select_one('h1.title')
title = title_elem.get_text(strip=True) if title_elem else "未知标题"
问题:分页采集时部分详情页URL重复,导致数据冗余
解决方案:
MD5去重实现:
import hashlib
def get_hash(text):
return hashlib.md5(text.encode('utf-8')).hexdigest()
seen_hashes = set()
# 采集时
content_hash = get_hash(content)
if content_hash not in seen_hashes:
seen_hashes.add(content_hash)
# 保存数据
else:
print("检测到重复内容,跳过保存")
现象:采集数小时后程序崩溃,内存占用超90%
原因:Session对象未关闭、未及时释放资源
解决方案:
with语句管理资源import psutil; psutil.Process().memory_info().rss首次运行脚本,出现403错误 → 添加User-Agent后解决
解析时AttributeError → 增加元素存在性检查
发现重复数据 → 实施MD5哈希去重
采集中断 → 添加日志记录与断点续传
robots.txt是网站与爬虫的“君子协定”,位于域名根目录(如https://example.com/robots.txt)。常见规则:
Disallow: /admin/ → 禁止爬取后台路径Disallow: /search?q= → 禁止爬取动态搜索结果Allow: /api/data → 明确允许特定路径Crawl-delay: 10 → 请求间隔至少10秒合规检查代码:
import urllib.robotparser
rp = urllib.robotparser.RobotFileParser()
rp.set_url("https://example.com/robots.txt")
rp.read()
if rp.can_fetch("*", "https://example.com/report/1"):
print("允许爬取")
else:
print("禁止爬取该URL")
2024年《网络数据安全管理条例》明确要求:爬虫开发者应尊重robots.txt,否则可能承担民事赔偿责任。
高风险行为:
安全实践建议:
教学场景中需特别注意:
某高校2024年发生学生爬取教务系统成绩数据事件,因违反《刑法》第285条被追究责任,此为重要警示案例。
Q:为什么爬取的数据不完整?
A:检查是否需登录、是否存在JS动态加载、目标站点是否分块加载(如瀑布流)
Q:如何处理验证码?
A:教学实验中建议使用模拟数据;生产环境需接入打码平台(如云打码),但需注意法律风险
Q:爬虫程序如何定时运行?
A:Linux使用crontab,Windows使用任务计划程序,配合Python脚本实现自动化