从零构建稳定可靠的网络数据采集系统,涵盖数据采集→清洗→结构化→Excel输出全链路,提供真实项目代码、避坑指南与合规建议,助您高效获取数据资产。
立即学习HTTP协议是爬虫与服务器通信的基础。客户端发送GET/POST请求,服务器返回状态码(如200表示成功)、响应头与响应体(HTML/JSON等)。爬虫需模拟浏览器行为,构造合理请求头(User-Agent、Referer、Cookie等)以绕过基础反爬。
示例:
requests.get('https://example.com', headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'})
BeautifulSoup、lxml与正则表达式是三大主流解析方案:
推荐组合:lxml + XPath,兼顾速度与准确性。
① 明确目标 → ② 分析接口 → ③ 构造请求 → ④ 解析响应 → ⑤ 保存数据
关键点:使用浏览器开发者工具(F12)→ Network → XHR筛选AJAX接口,识别真实数据源(常为JSON格式),避免解析冗余HTML。
适用场景:静态页面、无复杂JS渲染的数据(如新闻、商品列表)。优势是轻量、快速、依赖少;劣势是无法处理动态加载内容。
典型代码结构:
| 步骤 | 关键代码 | 说明 |
|---|---|---|
| ① 发起请求 | session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0'})
res = session.get(url) | 使用Session复用连接,提升效率 |
| ② 检查状态 | if res.status_code == 200:
html = res.text
else:
raise Exception("请求失败") | 必须验证HTTP状态码 |
| ③ 解析数据 | soup = BeautifulSoup(html, 'lxml')
items = soup.select('.product-item')
for item in items:
name = item.select_one('.title').text.strip() | 使用CSS选择器精准定位 |
💡 实用技巧:遇到编码问题时,用res.apparent_encoding修正;对分页数据,可构造URL参数循环请求。
适用场景:AJAX加载、登录态验证、滑块验证等复杂交互。通过驱动浏览器(Chrome/Firefox)实现真实用户行为模拟。
⚠️ 注意事项:
关键代码示例:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
options = webdriver.ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
driver.get('https://example.com')
# 显式等待元素加载
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.data-list')))
# 滚动到底部触发懒加载
driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
items = driver.find_elements(By.CSS_SELECTOR, '.item')
🔧 性能优化:对非必要资源(图片、CSS)设置不加载,减少资源消耗:
| 优化项 | 配置代码 |
|---|---|
| 禁用图片 | prefs = {"profile.managed_default_content_settings.images": 2}
options.add_experimental_option("prefs", prefs) |
| 禁用GPU | options.add_argument('--disable-gpu')
options.add_argument('--no-sandbox') |
相比Selenium,Playwright具有以下优势:
安装与基础用法:
pip install playwright playwright install chromium
典型爬虫脚本:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto('https://example.com')
# 等待元素出现
page.wait_for_selector('.product-item')
# 提取数据
items = page.query_selector_all('.product-item')
data = []
for item in items:
title = item.query_selector('.title').inner_text()
price = item.query_selector('.price').inner_text()
data.append({'标题': title, '价格': price})
browser.close()
🚀 新特性:网络拦截——可修改请求头、拦截特定资源:
page.route('**/analytics.js', lambda route: route.abort()) # 拦截追踪脚本
• 403 Forbidden:检查User-Agent是否被封,尝试更换设备标识;添加Referer头模拟来源页面
• 503 Service Unavailable:请求频率过高触发限流,增加sleep间隔或使用代理池
• ConnectionResetError:网络不稳定或服务器主动断连,添加重试机制(如tenacity库)
• ElementNotInteractableException:元素被遮挡或未激活,使用JavaScript滚动至视口再操作
目标:每小时抓取某平台电子产品价格变动,生成Excel报表
需采集字段:商品名、价格、库存状态、促销信息;需处理分页(每页40条);需应对价格浮动(动态价格字段)
通过Network发现真实数据源为:
https://api.example.com/products?category=electronics&page={n}
返回JSON结构示例:
| 字段 | 类型 | 说明 |
|---|---|---|
| product_id | string | 唯一标识 |
| title | string | 商品标题 |
| price | float | 当前售价 |
| original_price | float | 划线价 |
| stock_status | int | 0=缺货,1=有货 |
import requests
import json
import pandas as pd
from time import sleep
def fetch_products(page=1):
url = "https://api.example.com/products"
params = {
"category": "electronics",
"page": page,
"sort": "sales_desc"
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
"Referer": "https://www.example.com/electronics"
}
try:
res = requests.get(url, params=params, headers=headers, timeout=10)
if res.status_code == 200:
return res.json()
else:
print(f"请求失败: {res.status_code}")
return None
except Exception as e:
print(f"异常: {e}")
return None
# 主逻辑
all_data = []
for page in range(1, 6): # 抓取5页
print(f"正在抓取第{page}页...")
data = fetch_products(page)
if data and "data" in data:
products = data["data"]["products"]
for p in products:
all_data.append({
"商品ID": p["product_id"],
"标题": p["title"],
"价格": p["price"],
"原价": p.get("original_price", 0),
"库存": "有货" if p["stock_status"] == 1 else "缺货",
"采集时间": pd.Timestamp.now().strftime("%Y-%m-%d %H:%M")
})
sleep(1.5) # 防止触发限流
# 导出Excel
df = pd.DataFrame(all_data)
df.to_excel("electronics_price.xlsx", index=False)
print(f"成功导出{len(all_data)}条数据!")
通过pandas进行二次处理:
微博采用双Token机制(m_weibo_token + containerid),需先获取首页Cookie,再构造请求头:
| 步骤 | 操作 |
|---|---|
| ① 获取containerid | url = "https://m.weibo.cn/api/container/getIndex?containerid=100103type=1&q={keyword}"
# 模拟移动端请求,User-Agent设为手机端 |
| ② 获取cardlist | res = requests.get(url, headers=mobile_headers)
cards = res.json()["data"]["cards"]
for card in cards:
if card.get("card_type") == 9: # 微博内容
mblog = card["mblog"]
text = mblog["text"] # 需用lxml清洗HTML标签 |
采集后需清洗HTML标签、提取文字内容:
import re
from lxml import etree
def clean_html(html):
# 移除HTML标签及特殊字符
text = re.sub(r'<[^>]+>', '', html)
text = re.sub(r'[\r\n\t]', '', text)
return text.strip()
# 示例
raw_text = "<span>今天天气真好!</span>"
cleaned = clean_html(raw_text) # 输出:今天天气真好!
可接入百度NLP或SnowNLP进行情感分析,统计正面/中性/负面评论比例,生成词云图辅助决策。
基础策略:模拟真实浏览器行为
高级技巧:使用Fake User Agent库自动更新UA:
from fake_useragent import UserAgent
ua = UserAgent()
headers = {'User-Agent': ua.random}
避免触发限流:动态调整请求间隔
| 策略 | 适用场景 | 代码示例 |
|---|---|---|
| 固定间隔 | 低风险目标 | import time time.sleep(2) |
| 随机间隔 | 中风险目标 | import random time.sleep(random.uniform(1.5, 3.5)) |
| 指数退避 | 高风险目标 | for i in range(3):
try:
response = requests.get(url)
break
except:
time.sleep(2**i) # 2,4,8秒 |
动态获取Token(以知乎为例):
推荐方案:使用selenium自动登录,保存Cookie到文件:
import pickle
# 保存Cookie
pickle.dump(driver.get_cookies(), open("cookies.pkl", "wb"))
# 加载Cookie
cookies = pickle.load(open("cookies.pkl", "rb"))
for cookie in cookies:
driver.add_cookie(cookie)
应对IP封禁:构建动态代理池
• 从可信源获取代理(如快代理、阿布云)
• 定期验证代理有效性(requests.get('http://httpbin.org/ip', proxies=proxies))
• 失效代理自动剔除
• 支持HTTP/HTTPS/SOCKS5协议
现象:连续请求后返回403,且IP被封
解决方案:
步骤1:构建DataFrame
import pandas as pd
data = [
{"商品ID": "P001", "标题": "无线鼠标", "价格": 59.9},
{"商品ID": "P002", "标题": "机械键盘", "价格": 299}
]
df = pd.DataFrame(data)
步骤2:导出Excel
df.to_excel("products.xlsx", index=False,
sheet_name="价格表",
startrow=0, startcol=0)
关键参数说明:
① 多Sheet导出
with pd.ExcelWriter("multi_sheet.xlsx") as writer:
df1.to_excel(writer, sheet_name="京东", index=False)
df2.to_excel(writer, sheet_name="天猫", index=False)
② 条件格式(价格异常标红)
def highlight_low(val):
color = 'red' if val < 100 else ''
return f'color: {color}'
df.style.applymap(highlight_low, subset=['价格']).to_excel("highlighted.xlsx",
engine='openpyxl', index=False)
③ 添加数据验证(下拉菜单)
| 操作 | 代码实现 |
|---|---|
| 安装依赖 | pip install openpyxl |
| 添加验证 | from openpyxl import load_workbook
from openpyxl.worksheet.datavalidation import DataValidation
wb = load_workbook("products.xlsx")
ws = wb.active
dv = DataValidation(type="list", formula1='"有货,缺货,预警"', allow_blank=True)
ws.add_data_validation(dv)
dv.add("D2:D1000") # 应用于D列
wb.save("products.xlsx")
|
● 本地计划任务(Windows Task Scheduler / Linux cron)
● 云函数(阿里云Function Compute / AWS Lambda)
● 专业调度平台(APScheduler + 守护进程)
from apscheduler.schedulers.blocking import BlockingScheduler
from datetime import datetime
import os
def job():
print(f"[{datetime.now()}] 开始执行爬虫任务...")
try:
# 调用主爬虫脚本
os.system("python main_spider.py")
print("任务完成!")
except Exception as e:
print(f"任务失败: {e}")
scheduler = BlockingScheduler(timezone="Asia/Shanghai")
scheduler.add_job(job, 'cron', hour=9, minute=30) # 每天9:30执行
print("调度器启动中...")
scheduler.start()
部署建议:
《网络安全法》第27条:任何个人不得从事危害网络安全的活动
《数据安全法》第32条:不得窃取或以其他非法方式获取数据
关键原则:
2023年某公司因爬取某招聘网站简历数据被诉,法院判决:
败诉原因:绕过登录限制、批量下载简历(含联系方式)
| 项目 | 合规 | 高风险 | 建议 |
|---|---|---|---|
| 数据来源 | 公开网页 | 登录后内容 | 优先使用开放API |
| 请求频率 | <3次/秒 | >10次/秒 | 添加随机延时 |
| 数据类型 | 商品价格 | 用户联系方式 | 脱敏处理 |
| 存储方式 | 加密本地存储 | 明文公网共享 | 限制访问权限 |
① 查看robots.txt(如https://example.com/robots.txt)
② 检查网站服务条款(Terms of Service)
③ 通过浏览器访问相同URL,若返回验证码/403则高度敏感
④ 联系网站管理员获取授权
原因:openpyxl默认使用utf-8,但Excel(中文版)期望GBK编码
解决方案:
df.to_excel("output.xlsx", engine='openpyxl',
encoding='utf_8_sig') # 自动添加BOM头
或直接使用xlsxwriter引擎:
df.to_excel("output.xlsx", engine='xlsxwriter')
• 简单验证码:使用Tesseract OCR识别
from PIL import Image
import pytesseract
img = Image.open("captcha.png")
text = pytesseract.image_to_string(img)
• 复杂验证码:接入打码平台(如2CAPTCHA,成本约¥0.3/次)
• 最佳实践:通过模拟登录获取Cookie,避免频繁触发验证码
使用requests.stream()流式下载,避免内存溢出:
import requests
with requests.get(img_url, stream=True) as r:
with open("image.jpg", "wb") as f:
for chunk in r.iter_content(chunk_size=8192):
f.write(chunk)
推荐工具:
解决方案: