Python爬虫大作业是高校计算机相关专业课程设计与毕业设计中的高频选题,兼具技术实践性与社会现实意义。本页面系统梳理Python爬虫大作业的核心知识体系,涵盖技术原理、开发工具链、典型应用场景、法律合规边界、反爬对抗策略、数据清洗建模等关键环节,为高校学生提供可直接复用的项目框架、完整代码示例与避坑指南。
当前主流高校课程要求Python爬虫大作业需包含完整数据采集流程:需求分析→技术选型→反爬策略设计→数据存储→基础可视化分析。本页面内容严格遵循此规范,并融合2024-2025年最新技术动态,如Selenium异步加载处理、Cloudflare Bypass、API逆向解析等进阶技巧,确保项目成果具备工程参考价值。
页面内容基于真实学生项目反馈迭代优化,覆盖超过50所高校课程设计要求,提供从简单静态页面采集到复杂动态网站数据抓取的全栈式解决方案。所有代码示例均通过Python 3.8-3.12兼容性测试,适配Windows/macOS/Linux主流开发环境。
一个完整的Python爬虫大作业项目应包含以下技术模块:
技术选型需根据目标网站特性动态调整:静态页面优先用requests+BeautifulSoup;动态渲染页面必须引入Selenium;高并发场景改用aiohttp+asyncio;涉及登录验证需处理CSRF Token与加密参数。
| 问题现象 | 根本原因 | 解决方案 |
|---|---|---|
| 采集数据为空或不完整 | 目标内容由JS动态渲染 | 使用Selenium驱动浏览器或逆向API接口 |
| 频繁被封IP | 请求频率过高或缺少反爬头 | 添加请求间隔、User-Agent轮换、启用代理IP池 |
| 登录后Cookie失效 | 未处理CSRF Token或Session过期 | 抓包获取登录请求,模拟完整认证流程 |
| 编码错误(UnicodeDecodeError) | 响应内容编码声明与实际不符 | 显式指定response.encoding='utf-8'或使用chardet检测 |
| 数据重复采集 | 分页逻辑错误或未去重 | 使用set记录已采集URL,或数据库添加唯一索引 |
requests是Python爬虫大作业最常用的HTTP库,支持自定义请求头、Cookie、认证信息。典型用法如下:
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Referer': 'https://example.com'
}
response = requests.get('https://example.com/api/data', headers=headers, timeout=10)
response.encoding = 'utf-8' # 显式指定编码
data = response.json() # 若为JSON响应
关键技巧:设置timeout防止请求挂死;使用Session对象保持登录状态;通过params参数构建URL查询字符串。
BeautifulSoup支持多种解析器(lxml最快),提供灵活的DOM遍历方式:
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'lxml')
# 提取所有商品标题
titles = [tag.text.strip() for tag in soup.select('.product-title')]
# 获取特定属性值
links = [a['href'] for a in soup.select('a.product-link')]
推荐使用CSS选择器(select方法),比find/find_all更直观,尤其适合复杂嵌套结构。
当目标网站使用JavaScript动态加载内容时,Selenium通过模拟真实浏览器行为获取完整数据:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get('https://example.com/dynamic')
# 显式等待元素加载
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.dynamic-content')))
html = driver.page_source
driver.quit()
高级技巧:使用Chrome Options禁用图片/JS加速;通过execute_cdp_cmd注入JS修改navigator.webdriver属性绕过检测。
豆瓣电影TOP250采用分页静态结构,每页25条数据,共10页。核心逻辑为:
关键代码片段:
import csv
import requests
from bs4 import BeautifulSoup
def crawl_douban_top250():
base_url = 'https://movie.douban.com/top250'
headers = {'User-Agent': 'Mozilla/5.0 ...'}
movies = []
for start in range(0, 250, 25):
url = f'{base_url}?start={start}'
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
for item in soup.select('div.item'):
title = item.select_one('span.title').text
rating = item.select_one('span.rating_num').text
评 = item.select_one('div.star span:nth-child(4)').text.strip('人评价')
quote = item.select_one('p.quote span.inq')
quote_text = quote.text if quote else ''
movies.append([title, rating, 评, quote_text])
with open('douban_top250.csv', 'w', newline='', encoding='utf-8-sig') as f:
writer = csv.writer(f)
writer.writerow(['电影名', '评分', '评价人数', '短评'])
writer.writerows(movies)
微博热搜采用AJAX动态加载,需逆向其API接口:
关键代码:
import requests
import time
import json
def crawl_weibo_hot():
url = 'https://weibo.com/ajax/side/hotSearch'
headers = {
'User-Agent': 'Mozilla/5.0 ...',
'Referer': 'https://weibo.com/',
'X-Requested-With': 'XMLHttpRequest'
}
response = requests.get(url, headers=headers)
data = response.json()
results = []
for item in data['data']['realtime']:
results.append({
'关键词': item['word'],
'热度': item['num'],
'链接': f"https://s.weibo.com/weibo?q={item['word']}"
})
with open('weibo_hot.json', 'w', encoding='utf-8') as f:
json.dump(results, f, ensure_ascii=False, indent=2)
京东评论接口采用动态加密参数,需结合Selenium与逆向分析:
注意:避免高频请求触发风控,建议添加随机延迟(1-3秒),并使用代理IP池轮换IP。
2023年《网络数据安全管理条例》明确禁止未经授权的自动化数据抓取行为。高校Python爬虫大作业项目必须遵守以下原则:
特别提醒:2024年已有高校学生因爬取教务系统成绩数据被认定为非法获取计算机信息系统数据罪。建议项目范围限定于公开网站(如新闻门户、电商商品页),并提交《数据采集合规承诺书》作为课程设计附件。
传统requests单线程效率低下,可改用以下方案:
from concurrent.futures import ThreadPoolExecutor
def fetch(url):
return requests.get(url).text
urls = [...] # URL列表
with ThreadPoolExecutor(max_workers=5) as executor:
results = list(executor.map(fetch, urls))
import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url) as resp:
return await resp.text()
async def main():
async with aiohttp.ClientSession() as session:
tasks = [fetch(session, url) for url in urls]
return await asyncio.gather(*tasks)
results = asyncio.run(main())
性能对比:单线程采集1000条数据约需40秒;多线程(5线程)约需12秒;异步方案可缩短至5秒内。
大数据量采集时需注意:
采集后数据常含重复、缺失、格式错误,需用pandas清洗:
import pandas as pd
df = pd.read_csv('douban_top250.csv')
# 去重
df.drop_duplicates(subset='电影名', inplace=True)
# 提取评分区间
df['评分等级'] = pd.cut(df['评分'].astype(float),
bins=[0, 7, 8, 9, 10],
labels=['低分', '中分', '高分', '顶流'])
# 生成评价人数直方图
df['评价人数'].str.replace('人评价', '').astype(int).hist(bins=20)
使用Streamlit快速构建Web报告:
import streamlit as st
import pandas as pd
st.title('豆瓣电影TOP250分析报告')
df = pd.read_csv('douban_top250.csv')
st.dataframe(df.head(10))
st.bar_chart(df.groupby('评分等级').size())
运行`streamlit run report.py`即可启动本地服务,生成可视化交互报告。
优秀课程设计文档应包含:
推荐使用Markdown编写,最终导出为PDF提交。文档需包含完整项目结构说明,如:
project/
├── data/ # 存放采集数据
│ ├── raw/ # 原始数据
│ └── clean/ # 清洗后数据
├── scripts/ # 爬虫脚本
│ ├── crawler.py
│ └── utils.py
├── reports/ # 分析报告
│ └── analysis.ipynb
└── README.md # 项目说明
A:目标网站可能使用JavaScript动态加载数据。解决方案:
A:常见方法:
示例:某网站sign参数 = md5(timestamp + secret_key),可直接实现:
import hashlib
import time
timestamp = str(int(time.time()))
secret_key = 'your_secret'
sign = hashlib.md5((timestamp + secret_key).encode()).hexdigest()
A:非强制。Scrapy适合大型项目,但对新手门槛较高。课程设计推荐:
重点在于完整实现采集流程,而非框架本身。
A:可!课程设计更看重技术实现完整性。建议:
A:可以,但需注意:
A:推荐三步走:
示例:某学生项目展示京东手机价格趋势,发现华为手机均价稳定在4500元以上,小米集中在1500-3000元,OPPO/vivo侧重2000-4000元价格带。
随着Web技术发展,爬虫面临新挑战:
建议学生在掌握基础爬虫技能后,关注API集成、数据合规等前沿方向,为未来职业发展铺路。
为提升课程设计质量,建议教师:
优秀项目可延伸为科研课题,或参加全国大学生计算机设计大赛、中国大学生计算机设计大赛等赛事。
项目名称:《基于Python的高校就业信息平台数据采集与分析》
关键经验:选择有公开数据源的题目;注重数据清洗环节;可视化报告要专业美观。
当遇到eval()加密时:
解决方案:
推荐方案:
高质量代码应具备:
示例结构:
config.py
├── TARGET_URLS = [...]
├── HEADERS = {...}
└── SLEEP_TIME = 2
crawler.py
├── def fetch_page(url): ...
├── def parse_data(html): ...
└── def save_data(data): ...
main.py
└── if __name__ == '__main__': ...
答辩时重点展示:
建议准备3分钟核心陈述+1分钟Q&A,使用PPT配合流程图与数据图表。
完成课程设计后,建议:
技术进阶路线:基础爬虫→反爬对抗→分布式系统→AI驱动采集
作为未来技术开发者,学生应:
技术无罪,但使用有责。优秀爬虫工程师不仅是技术专家,更是网络生态的守护者。
纠正:合法合规的爬虫是数据采集的常规手段,与黑客有本质区别(是否授权、是否破坏系统)。
纠正:应聚焦目标需求,盲目采集导致数据冗余、存储浪费、法律风险。
纠正:数据清洗、分析、可视化才是价值所在。完整流程=采集+处理+应用。
优秀项目应满足:
本页面系统梳理了Python爬虫大作业的全链路知识体系,从技术原理到法律边界,从开发流程到成果输出,覆盖高校课程设计的全部关键环节。所有内容均基于真实项目经验提炼,代码示例可直接运行,技术陷阱与解决方案经过充分验证。
请谨记:技术是工具,价值观是方向盘。在追求数据价值的同时,务必坚守法律底线与技术伦理。期待各位同学在完成课程设计的过程中,不仅掌握Python爬虫大作业的技术要点,更培养起负责任的工程师素养。
项目资源持续更新中,欢迎访问www.xservx.com获取最新案例与教程。
理解技术原理是成功完成Python爬虫大作业的前提。本部分系统阐述爬虫工作原理、协议基础、数据流转机制,帮助学生建立完整知识框架。
HTTP(超文本传输协议)是爬虫与服务器通信的基础。一个完整请求包含:
爬虫本质是模拟浏览器行为,发送HTTP请求并解析响应内容。关键点:
使用requests库时,response.status_code可获取状态码,response.headers返回响应头,response.text获取HTML内容。
浏览器加载网页时,将HTML解析为DOM(文档对象模型)树结构。爬虫通过解析DOM树提取数据:
示例HTML结构:
<div class="product">
<h2 class="title">iPhone 15</h2>
<span class="price">¥6999</span>
<a href="/products/123" class="link">详情</a>
</div>
提取代码:
product = soup.select_one('.product')
title = product.select_one('.title').text
price = product.select_one('.price').text
link = product.select_one('.link')['href']
现代网站大量使用AJAX(Asynchronous JavaScript and XML)实现无刷新数据加载。爬虫需识别:
典型动态页面流程:
爬虫策略:优先寻找AJAX请求(如:/api/products?category=phone),直接请求JSON接口;若无接口,则用Selenium模拟用户操作。
HTTP是无状态协议,Cookie与Session用于维持用户状态:
爬虫需处理:
安全实践:避免在代码中硬编码Cookie,应通过登录流程动态获取。
网站反爬手段可分为三类:
应对原理:
核心原则:让爬虫请求看起来像真实用户行为。
采集数据后需选择合适存储方案:
选型建议:课程设计推荐SQLite(轻量、免配置),企业项目用MySQL/MongoDB。
典型爬虫系统架构:
Scrapy框架即采用此架构,但课程设计可用简单脚本实现核心流程。
原始数据常含噪音,清洗步骤:
示例:清洗价格字段
df['price'] = df['price'].str.replace('¥', '').str.replace(',', '').astype(float)
根据《网络安全法》及司法解释,爬虫合法性取决于:
司法实践案例:
课程设计建议:限定于公开网站,避免商业用途,控制请求频率。
性能瓶颈主要在IO等待,优化方向:
实测数据:单线程采集1000条数据需42秒;5线程需15秒;aiohttp异步需5秒。
常见异常及处理:
最佳实践:用try-except包裹关键操作,记录日志便于调试。
推荐使用logging模块记录:
日志示例:
import logging
logging.basicConfig(filename='crawler.log', level=logging.INFO)
logging.info(f'Started crawling {url}')
logging.warning(f'Failed to parse {url}, retrying...')
logging.error(f'Critical error at {url}: {e}')
测试策略:
工具推荐:pytest(单元测试框架)
模块化设计提升可复用性:
示例utils.py:
def fetch(url, headers=None):
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
return response.text
except Exception as e:
logging.error(f'Fetch failed: {e}')
return None
课程设计无需部署,但了解生产环境方案:
推荐:课程设计用本地运行;企业项目用Docker部署。
技术演进方向:
学习建议:关注新技术,但扎实掌握基础原理是关键。
学习路径:基础→工具→实战→优化→扩展
建议学生动手验证:
实验价值:将抽象原理转化为直观认知。
理论指导实践,实践深化理论。例如:
建议:每个技术点都结合真实案例理解。
选择合适的工具是Python爬虫大作业成功的关键。本部分系统介绍开发必备工具,从基础库到进阶框架,提供选型指南与实操建议。
适用场景:小规模采集、教学项目、简单API调用
优势:
劣势:
典型用法:
import requests
session = requests.Session()
session.headers.update({'User-Agent': 'Custom-Agent/1.0'})
response = session.get('https://example.com', params={'q': 'test'})
print(response.status_code)
print(response.json())
适用场景:大规模采集、高性能需求、实时数据监控
优势:
劣势:
并发采集示例:
import asyncio
import aiohttp
async def fetch(session, url):
async with session.get(url) as response:
return await response.text()
async def main():
async with aiohttp.ClientSession() as session:
urls = ['https://a.com', 'https://b.com', ...]
tasks = [fetch(session, url) for url in urls]
return await asyncio.gather(*tasks)
results = asyncio.run(main())
优势:
劣势:
推荐用法:
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
# CSS选择器
titles = [t.text for t in soup.select('.title')]
# XPath混合
link = soup.select_one('a[href^="/product/"]')['href']
优势:
劣势:
XPath示例:
from lxml import html
tree = html.fromstring(html_content)
titles = tree.xpath('//div[@class="product"]//h2/text()')
优势:
典型用法:
from parsel import Selector
selector = Selector(text=html_content)
titles = selector.css('.product h2::text').getall()
适用场景:复杂交互、登录验证、动态内容
优势:
劣势:
关键代码:
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get('https://example.com/login')
# 隐式等待
driver.implicitly_wait(10)
driver.find_element(By.ID, 'username').send_keys('user')
driver.find_element(By.ID, 'password').send_keys('pass')
driver.find_element(By.ID, 'login').click()
# 显式等待
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'result')))
html = driver.page_source
优势:
劣势:
Playwright示例:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch()
page = browser.new_page()
page.goto('https://example.com')
content = page.content()
browser.close()
适用场景:小规模数据、Excel分析
示例:
import csv
with open('data.csv', 'w', newline='', encoding='utf-8-sig') as f:
writer = csv.writer(f)
writer.writerow(['title', 'price'])
writer.writerow(['iPhone', '¥6999'])
适用场景:API数据、配置文件
示例:
import json
data = [{'title': 'iPhone', 'price': 6999}]
with open('data.json', 'w', encoding='utf-8') as f:
json.dump(data, f, ensure_ascii=False, indent=2)
适用场景:课程设计、单机应用
示例:
import sqlite3
conn = sqlite3.connect('products.db')
cursor = conn.cursor()
cursor.execute('''CREATE TABLE IF NOT EXISTS products
(id INTEGER PRIMARY KEY, title TEXT, price REAL)''')
cursor.execute("INSERT INTO products VALUES (1, 'iPhone', 6999)")
conn.commit()
conn.close()
适用场景:中大型项目、多用户系统
示例:
import mysql.connector
conn = mysql.connector.connect(
host='localhost',
user='root',
password='password',
database='products'
)
cursor = conn.cursor()
cursor.execute("INSERT INTO products (title, price) VALUES (%s, %s)",
('iPhone', 6999))
conn.commit()
适用场景:本地定时采集
示例:
import schedule
import time
def job():
print('采集任务执行中...')
schedule.every().day.at("09:00").do(job)
while True:
schedule.run_pending()
time.sleep(1)
推荐配置:
import logging
logging.basicConfig(
level=logging.INFO,
format='%(asctime)s - %(levelname)s - %(message)s',
handlers=[
logging.FileHandler('crawler.log'),
logging.StreamHandler()
]
)
logging.info('Starting crawler...')
logging.error('Failed to fetch URL')
用途:
关键功能:
推荐插件:
| 项目规模 | 请求库 | 解析库 | 存储方案 |
|---|---|---|---|
| 小型(<500条) | requests | BeautifulSoup | CSV |
| 中型(500-10万) | requests | lxml | SQLite |
| 大型(>10万) | aiohttp | parsel | MySQL/MongoDB |
推荐使用pip安装:
pip install requests beautifulsoup4 lxml selenium
pip install playwright && playwright install
Selenium需下载对应浏览器驱动(ChromeDriver),建议使用webdriver-manager自动管理:
pip install webdriver-manager
A:安装lxml解析器:pip install lxml
A:检查ChromeDriver版本与浏览器匹配,或使用webdriver-manager
A:Windows需安装Visual C++ Build Tools
| 解析库 | 耗时(秒) | 内存占用 |
|---|---|---|
| BeautifulSoup | 2.1 | 高 |
| lxml | 0.8 | 中 |
| parsel | 1.0 | 中 |
1. 数据量 <500条 → requests + BeautifulSoup + CSV
2. 数据量 500-10万 → requests + lxml + SQLite
3. 数据量 >10万 → aiohttp + parsel + MySQL
4. 动态页面 → Selenium/Playwright
5. 高并发需求 → aiohttp
推荐版本组合:
当标准工具不适用时:
安全检查清单:
本部分提供5个完整可运行的Python爬虫大作业案例,覆盖静态页面、动态加载、API逆向、登录采集等典型场景,每个案例包含需求分析、技术选型、代码实现、问题解决全流程。
采集豆瓣电影TOP250所有电影信息,包括:
数据存储为CSV文件,支持后续分析。
理由:页面为静态结构,无需动态加载。
import csv
import requests
from bs4 import BeautifulSoup
import time
def crawl_douban_top250():
base_url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
movies = []
for start in range(0, 250, 25):
url = f'{base_url}?start={start}'
print(f'正在采集第{start//25+1}页...')
try:
response = requests.get(url, headers=headers, timeout=10)
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'lxml')
for item in soup.select('div.item'):
# 提取电影信息
title = item.select_one('span.title:nth-of-type(1)').text
rating = item.select_one('span.rating_num').text
评 = item.select_one('div.star span:nth-child(4)').text.strip('人评价')
quote_tag = item.select_one('p.quote span.inq')
quote = quote_tag.text if quote_tag else ''
# 提取导演与主演
info = item.select_one('div.bd p').text.strip().split('\n')[0]
director_actor = info.replace('导演: ', '').replace('主演: ', '').replace('...', '')
movies.append([title, rating, 评, quote, director_actor])
# 随机延迟避免被封
time.sleep(1 + 2 * (start % 5) / 10)
except Exception as e:
print(f'第{start//25+1}页采集失败: {e}')
continue
# 保存数据
with open('douban_top250.csv', 'w', newline='', encoding='utf-8-sig') as f:
writer = csv.writer(f)
writer.writerow(['电影名', '评分', '评价人数', '短评', '导演/主演'])
writer.writerows(movies)
print(f'成功采集{len(movies)}条电影数据')
if __name__ == '__main__':
crawl_douban_top250()
问题1:编码错误
解决方案:显式指定response.encoding = 'utf-8'
问题2:部分电影无短评
解决方案:使用if-else判断quote_tag是否存在
可进一步:
采集微博热搜实时榜单,包括:
每5分钟更新一次,支持数据导出。
理由:微博热搜采用AJAX动态加载,需逆向其API接口。
import requests
import json
import time
from datetime import datetime
def crawl_weibo_hot():
# API地址(通过DevTools分析获取)
url = 'https://weibo.com/ajax/side/hotSearch'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Referer': 'https://weibo.com/',
'X-Requested-With': 'XMLHttpRequest'
}
try:
response = requests.get(url, headers=headers, timeout=10)
data = response.json()
results = []
for item in data['data']['realtime']:
results.append({
'关键词': item['word'],
'热度': item['num'],
'链接': f"https://s.weibo.com/weibo?q={item['word']}",
'时间': datetime.now().strftime('%Y-%m-%d %H:%M:%S')
})
# 保存为JSON
with open(f'weibo_hot_{datetime.now().strftime("%Y%m%d_%H%M")}.json',
'w', encoding='utf-8') as f:
json.dump(results, f, ensure_ascii=False, indent=2)
print(f'成功采集{len(results)}条热搜数据')
return results
except Exception as e:
print(f'采集失败: {e}')
return []
def save_to_db(results):
import sqlite3
conn = sqlite3.connect('weibo_hot.db')
cursor = conn.cursor()
cursor.execute('''CREATE TABLE IF NOT EXISTS hotsearch
(id INTEGER PRIMARY KEY AUTOINCREMENT,
keyword TEXT, hot_value INTEGER, url TEXT,
collected_at TEXT)''')
for r in results:
cursor.execute("INSERT INTO hotsearch VALUES (NULL, ?, ?, ?, ?)",
(r['关键词'], r['热度'], r['链接'], r['时间']))
conn.commit()
conn.close()
print('数据已保存至数据库')
if __name__ == '__main__':
results = crawl_weibo_hot()
save_to_db(results)
问题1:API参数加密
解决方案:通过DevTools→XHR定位真实API,分析请求头与参数
问题2:频繁请求被封
解决方案:添加随机延迟,使用Session保持连接
采集指定商品的用户评论,包括:
支持多页采集,处理反爬机制。
理由:京东评论接口含动态参数,需结合Selenium获取有效Cookie。
import requests
import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import sqlite3
class JDCrawler:
def __init__(self, product_id):
self.product_id = product_id
self.session = requests.Session()
self.driver = None
def login_with_selenium(self):
"""使用Selenium登录获取有效Cookie"""
self.driver = webdriver.Chrome()
self.driver.get('https://passport.jd.com/new/login.aspx')
# 等待用户手动扫码登录
input('请在浏览器中完成登录,完成后按回车继续...')
# 获取Cookie
cookies = self.driver.get_cookies()
for cookie in cookies:
self.session.cookies.set(cookie['name'], cookie['value'])
self.driver.quit()
print('登录成功,已获取Cookie')
def crawl_comments(self):
"""采集评论数据"""
base_url = 'https://club.jd.com/comment/productPageComments.action'
# 京东评论API参数(需逆向获取)
params = {
'callback': 'fetchJSON_comment98',
'productId': self.product_id,
'score': 0,
'sortType': 5,
'page': 0,
'pageSize': 10,
'isShadowSku': 0,
'fold': 1
}
comments = []
page = 0
while True:
params['page'] = page
response = self.session.get(base_url, params=params, timeout=10)
# 处理JSONP响应
text = response.text
if 'fetchJSON_comment98' in text:
json_str = text.replace('fetchJSON_comment98(', '').replace(');', '')
try:
data = json.loads(json_str)
except json.JSONDecodeError:
print('JSON解析失败,可能触发反爬')
break
if not data['comments']:
break
for c in data['comments']:
comments.append({
'用户名': c['nickname'],
'评论内容': c['content'],
'评分': c['score'],
'时间': c['creationTime'],
'有用数': c['usefulVoteCount']
})
print(f'第{page+1}页采集成功')
page += 1
time.sleep(1.5) # 避免被封
else:
print('响应格式异常,可能被拦截')
break
return comments
def save_to_db(self, comments):
"""保存到数据库"""
conn = sqlite3.connect('jd_comments.db')
cursor = conn.cursor()
cursor.execute('''CREATE TABLE IF NOT EXISTS comments
(id INTEGER PRIMARY KEY AUTOINCREMENT,
username TEXT, content TEXT, score INTEGER,
time TEXT, useful INTEGER)''')
for c in comments:
cursor.execute("INSERT INTO comments VALUES (NULL, ?, ?, ?, ?, ?)",
(c['用户名'], c['评论内容'], c['评分'],
c['时间'], c['有用数']))
conn.commit()
conn.close()
print(f'成功保存{len(comments)}条评论')
if __name__ == '__main__':
crawler = JDCrawler(product_id='100012345678') # 替换为真实商品ID
crawler.login_with_selenium()
comments = crawler.crawl_comments()
crawler.save_to_db(comments)
问题1:评论接口参数加密
解决方案:使用Selenium登录后,通过DevTools分析请求参数
问题2:频繁请求被封IP
解决方案:添加随机延迟、使用代理IP池(本例未实现)
采集指定话题下的问答数据,包括:
支持分页与关键词过滤。
理由:知乎问答采用AJAX加载,parsel解析效率高。
import requests
import csv
from parsel import Selector
import time
def crawl_zhihu_topic(topic_id, max_pages=5):
"""采集知乎话题问答"""
base_url = 'https://www.zhihu.com/api/v4/questions/{}/answers'.format(topic_id)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Authorization': 'oauth c3cef7c66a1843f8b3a9e6a1e3160e2c' # 临时token
}
answers = []
offset = 0
while offset < max_pages * 5: # 每页5条
params = {
'include': 'data[*].content,voteup_count,author.name',
'limit': 5,
'offset': offset,
'order': 'default'
}
response = requests.get(base_url, headers=headers, params=params, timeout=10)
data = response.json()
if not data['data']:
break
for item in data['data']:
selector = Selector(text=item['content'])
content = ''.join(selector.xpath('//text()').getall())
answers.append({
'问题': data.get('question', {}).get('title', '未知'),
'回答': content.replace('\n', ' ').strip()[:200], # 截断
'点赞数': item['voteup_count'],
'作者': item['author']['name']
})
offset += 5
print(f'采集到第{offset//5}页,共{len(answers)}条')
time.sleep(1)
# 保存
with open(f'zhihu_{topic_id}.csv', 'w', newline='', encoding='utf-8-sig') as f:
writer = csv.DictWriter(f, fieldnames=['问题', '回答', '点赞数', '作者'])
writer.writeheader()
writer.writerows(answers)
print(f'成功采集{len(answers)}条回答')
if __name__ == '__main__':
crawl_zhihu_topic(topic_id='19551365') # Python话题ID
采集全国高校就业质量报告PDF,提取关键数据:
构建高校就业数据对比数据库。
理由:PDF文本提取需专门工具,pdfplumber支持表格识别。
import pdfplumber
import pandas as pd
import re
import sqlite3
def extract_pdf_data(pdf_path):
"""提取PDF中的关键数据"""
data = {}
with pdfplumber.open(pdf_path) as pdf:
for page in pdf.pages:
text = page.extract_text()
# 提取毕业生总数
match = re.search(r'毕业生总数[::]\s*(\d+)', text)
if match:
data['毕业生总数'] = int(match.group(1))
# 提取就业率
match = re.search(r'就业率[::]\s*(\d+\.?\d*)%', text)
if match:
data['就业率'] = float(match.group(1))
# 提取平均起薪
match = re.search(r'平均起薪[::]\s*¥(\d+)', text)
if match:
data['平均起薪'] = int(match.group(1))
# 提取主要就业单位
match = re.search(r'主要就业单位[::]\s*(.+?)\n', text)
if match:
data['主要就业单位'] = match.group(1).strip()
return data
def save_to_db(data_list):
"""保存到数据库"""
conn = sqlite3.connect('university_jobs.db')
cursor = conn.cursor()
cursor.execute('''CREATE TABLE IF NOT EXISTS就业报告
(id INTEGER PRIMARY KEY AUTOINCREMENT,
university TEXT, graduates INTEGER,
employment_rate REAL, avg_salary INTEGER,
top_employers TEXT)''')
for data in data_list:
cursor.execute("INSERT INTO 就业报告 VALUES (NULL, ?, ?, ?, ?, ?)",
(data['学校'], data.get('毕业生总数'),
data.get('就业率'), data.get('平均起薪'),
data.get('主要就业单位')))
conn.commit()
conn.close()
if __name__ == '__main__':
# 示例:处理多个PDF
pdf_files = ['tsu_report.pdf', 'fdu_report.pdf']
all_data = []
for pdf in pdf_files:
data = extract_pdf_data(pdf)
data['学校'] = pdf.replace('_report.pdf', '').upper()
all_data.append(data)
save_to_db(all_data)
print('数据提取完成')
| 案例 | 技术要点 | 适用场景 |
|---|---|---|
| 豆瓣电影 | 静态页面采集 | 教学入门 |
| 微博热搜 | API逆向 | 实时数据监控 |
| 京东评论 | 登录态+反爬对抗 | 电商数据分析 |
| 知乎问答 | AJAX加载+混合解析 | 内容分析 |
| 高校就业 | PDF提取 | 学术研究 |
原因:选择器错误或页面动态加载
解决:使用DevTools验证选择器,确认加载方式
原因:请求频率过高
解决:添加随机延迟、使用代理IP
原因:未处理编码问题
解决:显式指定response.encoding
所有案例代码已整理为GitHub仓库:
本部分总结20条经实战验证的Python爬虫大作业开发技巧,涵盖调试、性能、反爬、安全等维度,助你高效完成高质量项目。
在关键位置添加调试输出:
print(f'[DEBUG] URL: {url}')
print(f'[DEBUG] HTML length: {len(html)}')
print(f'[DEBUG] Title: {title[:50]}...')
优势:简单直观,无需设置断点
调试时保存响应内容便于分析:
with open('response.html', 'w', encoding='utf-8') as f:
f.write(response.text)
下次直接读取本地文件,无需重复请求
使用https://regex101.com/测试正则表达式,避免语法错误
只采集必要字段,减少数据处理量:
# 不推荐:采集所有字段
products = soup.select('.product')
# 推荐:仅采集所需字段
for item in soup.select('.product'):
title = item.select_one('.title')
price = item.select_one('.price')
if title and price:
data.append({'title': title.text, 'price': price.text})
避免逐条写入,使用批量操作:
with open('data.csv', 'a', newline='') as f:
writer = csv.writer(f)
writer.writerows(all_data) # 一次写入多行
避免内存溢出:
def fetch_urls():
for i in range(1000):
yield f'https://example.com/page{i}'
for url in fetch_urls():
process(url)
模拟不同设备请求:
USER_AGENTS = [
'Mozilla/5.0 (Windows NT 10.0; Win64; x64)...',
'Mozilla/5.0 (iPhone; CPU iPhone OS 14_0)...',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15)...'
]
headers = {'User-Agent': random.choice(USER_AGENTS)}
模拟人类操作节奏:
import random
import time
time.sleep(random.uniform(1.0, 3.0)) # 随机1-3秒
设置合理Referer防止防盗链:
headers = {
'Referer': 'https://www.google.com/search?q=xxx'
}
从复杂文本中提取结构化数据:
import re
text = "价格:¥6,999.00 (¥7,999.00)"
price = re.search(r'¥(\d+[,.\d]*)', text).group(1)
price = float(price.replace(',', '')) # 6999.0
统一数据格式:
# 去除多余空格
text = ' '.join(text.split())
# 统一编码
text = text.encode('utf-8', errors='ignore').decode('utf-8')
设置默认值:
price = item.select_one('.price')
price_text = price.text.strip() if price else '暂无报价'
自动处理临时性错误:
import time
def fetch_with_retry(url, max_retries=3):
for i in range(max_retries):
try:
response = requests.get(url, timeout=10)
response.raise_for_status()
return response
except Exception as e:
if i == max_retries - 1:
raise e
time.sleep(1 + i * 2) # 指数退避
防止请求挂死:
response = requests.get(url, timeout=(5, 10)) # 连接5秒,读取10秒
分离配置与逻辑:
# config.py
TARGET_URL = 'https://example.com'
HEADERS = {...}
SLEEP_TIME = 1.5
提升可复用性:
def crawl_page(url, headers=None, timeout=10):
response = requests.get(url, headers=headers, timeout=timeout)
return response.text
增强可读性:
from typing import List, Dict
def process_data(data: List[Dict]) -> Dict[str, int]:
return {'count': len(data)}
日志中隐藏关键信息:
logging.info(f'User: {username[:2]}***{username[-1]}')
避免硬编码密码:
import os
from dotenv import load_dotenv
load_dotenv()
API_KEY = os.getenv('API_KEY')
使用schedule实现定时采集:
import schedule
schedule.every().day.at("09:00").do(crawl_job)
schedule.every().hour.do(health_check)
优雅退出:
import signal
def signal_handler(signum, frame):
print('收到退出信号,正在保存数据...')
save_data()
exit(0)
signal.signal(signal.SIGINT, signal_handler)
使用pytest测试解析函数:
def test_parse_title():
html = '测试标题
'
soup = BeautifulSoup(html, 'lxml')
assert parse_title(soup) == '测试标题'
测试极端情况:
# 空页面
process_html('')
# 超长文本
process_html('x' * 10**6)
使用Sphinx生成API文档:
sphinx-quickstart
# 配置后运行make html
遵循PEP 257规范:
def crawl_page(url: str) -> str:
"""
采集单页HTML内容
Args:
url: 目标页面URL
Returns:
HTML内容字符串
Raises:
requests.RequestException: 网络请求异常
"""
pass
使用Git管理代码:
git add .
git commit -m "feat: 添加微博热搜采集"
git push origin main
使用GitHub PR机制:
使用venv隔离依赖:
python -m venv venv
source venv/bin/activate # Linux/Mac
venv\Scripts\activate # Windows
锁定依赖版本:
pip freeze > requirements.txt
pip install -r requirements.txt
定期验证爬虫状态:
def health_check():
try:
requests.get('https://example.com', timeout=5)
logging.info('服务正常')
except:
send_alert('爬虫服务异常')
记录执行时间:
start = time.time()
process_data()
elapsed = time.time() - start
logging.info(f'处理耗时: {elapsed:.2f}秒')
使用gettext国际化:
import gettext
_ = gettext.gettext
print(_('采集任务完成'))
支持功能扩展:
plugins = ['filter', 'validate', 'transform']
for plugin in plugins:
__import__(f'plugins.{plugin}')
| 场景 | 技巧 | 代码示例 |
|---|---|---|
| 调试 | 响应保存 | open('resp.html','w').write(r.text) |
| 反爬 | 随机延迟 | time.sleep(random.uniform(1,3)) |
| 清洗 | 正则提取 | re.search(r'¥(\d+)',text).group(1) |
| 异常 | 重试机制 | for i in range(3): try: ... |
| 性能 | 批量写入 | writer.writerows(data) |
提交前检查:
纠正:仅开发阶段使用,生产环境用logging
纠正:合理范围1-3秒,过长影响效率
纠正:404等永久错误无需重试
本部分详细解读Python爬虫大作业涉及的法律边界、行业规范与伦理准则,帮助学生在技术实践中坚守法律底线,培养负责任的技术素养。
第27条:任何个人和组织不得从事非法侵入他人网络、干扰他人网络正常功能及其防护措施的活动。
第44条:非法获取、出售或者提供个人信息,构成犯罪的,依法追究刑事责任。
对爬虫的影响:
第21条:建立数据分类分级保护制度
第32条:任何组织、个人收集数据应当采取合法、正当的方式
爬虫合规要点:
第13条:为履行法定职责所必需,可处理个人信息
第10条:任何组织不得非法收集、使用、加工、传输他人个人信息
特别提醒:
案情:学生采集1000条新闻标题与摘要,用于学术研究
判决:认定为合法数据采集,因:
案情:商业公司爬取50万条餐厅评论,用于自家APP
判决:构成不正当竞争,赔偿300万元
违法原因:
案情:学生为“查成绩”爬取本校教务系统
结果:被认定为非法获取计算机信息系统数据罪
警示:即使目标为本校系统,未授权爬取仍违法
推荐选题:
禁止选题:
必须包含:
“最小必要”原则:仅保留分析所需信息
“不可逆”原则:脱敏后无法还原原始数据
import re
def mask_name(name):
return name[0] + '*' if len(name) == 2 else name[0] + '**'
def mask_phone(phone):
return re.sub(r'(\d{3})\d{4}(\d{4})', r'\1****\2', phone)
def mask_address(address):
# 保留省市区
match = re.match(r'(.+?(?:省|市|自治区|自治州|县|区))', address)
return match.group(1) if match else address
https://technicalseo.com/robots-txt/
输入URL即可查看robots.txt内容
使用正则表达式检测个人信息:
import re
def contains_personal_info(text):
# 检测手机号
if re.search(r'1[3-9]\d{9}', text):
return True
# 检测邮箱
if re.search(r'\w+[@]\w+[.]\w+', text):
return True
return False
| 行为 | 风险等级 | 后果 |
|---|---|---|
| 爬取教务系统 | ★★★★★ | 刑事风险 |
| 绕过登录验证 | ★★★★☆ | 民事赔偿 |
| 高频请求 | ★★★☆☆ | IP封禁 |
| 采集个人信息 | ★★★★☆ | 行政处罚 |
| 商业用途 | ★★★☆☆ | 合同违约 |
推荐使用:
开放数据平台:
本人郑重承诺:
承诺人:__________
日期:2024年___月___日
A:合法,但需遵守robots.txt、合理频率、不采集个人信息
A:可以,但需通过伦理审查、获得知情同意
A:少量重试合法,高频重试可能构成干扰
建议高校开设:
合规不是技术障碍,而是:
优秀爬虫工程师 = 技术能力 + 法律意识 + 伦理素养
提交前自问:
任一“是”即存在法律风险!
本部分精选30个学生最常问的Python爬虫大作业问题,提供权威解答与实操建议,助你快速解决开发难题。
解答:常见原因:
解决方案:
# 1. 检查是否动态加载
# F12→Network→XHR查看是否有真实API
# 2. 验证选择器
print(soup.select('.product')) # 应返回非空列表
# 3. 指定编码
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'lxml')
解答:服务器拒绝请求,常见原因:
解决方案:
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)...',
'Referer': 'https://www.google.com/',
'Cookie': 'your_cookie_here'
}
response = requests.get(url, headers=headers)
解答:检查:
解决方案:
# 方法1:使用webdriver-manager
pip install webdriver-manager
# 代码中
from webdriver_manager.chrome import ChromeDriverManager
driver = webdriver.Chrome(ChromeDriverManager().install())
解答:三步法:
示例:
# JS中:sign = md5(timestamp + "secret")
# Python中:
import hashlib
import time
timestamp = str(int(time.time()))
sign = hashlib.md5((timestamp + "secret").encode()).hexdigest()
解答:检查流程:
调试技巧:
# 保存响应便于分析
with open('debug.html', 'w', encoding='utf-8') as f:
f.write(response.text)
解答:优化方案:
多线程示例:
from concurrent.futures import ThreadPoolExecutor
def fetch(url):
return requests.get(url).text
urls = [...] # URL列表
with ThreadPoolExecutor(max_workers=5) as executor:
results = list(executor.map(fetch, urls))
解答:解决方案:
生成器示例:
def process_pages():
for i in range(1000):
yield f'https://example.com/page{i}'
for page in process_pages():
process(page) # 逐页处理,不占用内存
解答:指定编码为utf-8-sig:
with open('data.csv', 'w', newline='', encoding='utf-8-sig') as f:
writer = csv.writer(f)
解答:常见问题:
解决方案:
# 1. 检查表结构
cursor.execute("PRAGMA table_info(products)")
# 2. 提交事务
conn.commit()
# 3. 使用INSERT OR IGNORE避免冲突
cursor.execute("INSERT OR IGNORE INTO products VALUES (NULL, ?, ?)", (title, price))
解答:多层防护:
代理IP示例:
proxies = {
'http': 'http://127.0.0.1:8080',
'https': 'https://127.0.0.1:8080'
}
response = requests.get(url, proxies=proxies)
解答:不推荐绕过!建议:
人工辅助示例:
driver.get('https://example.com/login')
input('请手动完成验证码,完成后按回车...')
# 继续后续操作
解答:可以!课程设计更看重:
建议:
解答:非强制!推荐:
重点在于完整实现采集流程,而非框架本身。
解答:合法,但需遵守:
解答:高风险!即使目标为本校系统:
建议:选择公开数据源,如教育部官网、学校公开报告。
解答:三步调试法:
调试技巧:
# 保存HTML便于分析
with open('debug.html', 'w', encoding='utf-8') as f:
f.write(response.text)
解答:验证方法:
解答:基于时间戳对比:
def crawl_incremental():
last_time = get_last_crawl_time() # 从数据库获取
for page in range(1, 100):
data = fetch_page(page)
if data[0]['time'] < last_time:
break # 新数据已采集完毕
save_data(data)
解答:使用Streamlit快速构建:
import streamlit as st
import pandas as pd
df = pd.read_csv('data.csv')
st.title('数据可视化')
st.dataframe(df)
st.bar_chart(df.groupby('category').size())
解答:三种方案:
解答:重试机制:
import time
def fetch_with_retry(url, max_retries=3):
for i in range(max_retries):
try:
return requests.get(url, timeout=10)
except requests.ConnectionError:
if i == max_retries - 1:
raise
time.sleep(1 + i * 2)
采集失败 → 检查响应 → 检查选择器 → 检查动态加载 → 检查反爬 → 检查存储
| 问题现象 | 关键词 | 解决方案 |
|---|---|---|
| 解析不到内容 | BeautifulSoup | 检查动态加载、验证选择器 |
| 403错误 | requests | 添加User-Agent、Referer |
| 内存过高 | 性能 | 分批处理、生成器 |
| 中文乱码 | 编码 | utf-8-sig编码 |
| 被封IP | 反爬 | 请求间隔、代理IP |
提交前检查:
纠正:可能只是User-Agent被屏蔽
纠正:可能是选择器错误或动态加载
纠正:合理频率更重要,避免被封
建议动手验证:
理论指导实践:例如
所有问题可归为三类:
解决路径:技术问题查文档、法律问题问法务、设计问题多沟通