Python爬虫到Excel|全流程实战指南

从零构建稳定可靠的网络数据采集系统,涵盖数据采集→清洗→结构化→Excel输出全链路,提供真实项目代码、避坑指南与合规建议,助您高效获取数据资产。

立即学习

一、爬虫基础架构与核心原理

⚡ 请求与响应机制

HTTP协议是爬虫与服务器通信的基础。客户端发送GET/POST请求,服务器返回状态码(如200表示成功)、响应头与响应体(HTML/JSON等)。爬虫需模拟浏览器行为,构造合理请求头(User-Agent、Referer、Cookie等)以绕过基础反爬。

示例:
requests.get('https://example.com', headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'})

⚙️ HTML解析三剑客

BeautifulSoup、lxml与正则表达式是三大主流解析方案:

  • BeautifulSoup:适合结构混乱页面,支持多种解析器(html.parser、lxml)
  • lxml:基于C语言,速度极快,支持XPath精准定位
  • 正则表达式:轻量灵活,适用于结构稳定的小规模数据提取

推荐组合:lxml + XPath,兼顾速度与准确性。

〔数据采集五步法〕

① 明确目标 → ② 分析接口 → ③ 构造请求 → ④ 解析响应 → ⑤ 保存数据

关键点:使用浏览器开发者工具(F12)→ Network → XHR筛选AJAX接口,识别真实数据源(常为JSON格式),避免解析冗余HTML。

二、主流工具链对比与选型指南

requests + BeautifulSoup:轻量级采集首选

适用场景:静态页面、无复杂JS渲染的数据(如新闻、商品列表)。优势是轻量、快速、依赖少;劣势是无法处理动态加载内容。

典型代码结构:

步骤关键代码说明
① 发起请求
session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0'})
res = session.get(url)
使用Session复用连接,提升效率
② 检查状态
if res.status_code == 200:
    html = res.text
else:
    raise Exception("请求失败")
必须验证HTTP状态码
③ 解析数据
soup = BeautifulSoup(html, 'lxml')
items = soup.select('.product-item')
for item in items:
    name = item.select_one('.title').text.strip()
使用CSS选择器精准定位

💡 实用技巧:遇到编码问题时,用res.apparent_encoding修正;对分页数据,可构造URL参数循环请求。

selenium:处理动态渲染的终极方案

适用场景:AJAX加载、登录态验证、滑块验证等复杂交互。通过驱动浏览器(Chrome/Firefox)实现真实用户行为模拟。

⚠️ 注意事项:

  • 必须安装对应版本的ChromeDriver
  • 启用无头模式(headless)可提升执行效率
  • 合理使用显式等待(WebDriverWait)避免元素未加载完成报错

关键代码示例:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
options = webdriver.ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
driver.get('https://example.com')
# 显式等待元素加载
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.data-list')))
# 滚动到底部触发懒加载
driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
items = driver.find_elements(By.CSS_SELECTOR, '.item')

🔧 性能优化:对非必要资源(图片、CSS)设置不加载,减少资源消耗:

优化项配置代码
禁用图片
prefs = {"profile.managed_default_content_settings.images": 2}
options.add_experimental_option("prefs", prefs)
禁用GPU
options.add_argument('--disable-gpu')
options.add_argument('--no-sandbox')

playwright:微软新一代自动化框架

相比Selenium,Playwright具有以下优势:

  • 支持多浏览器(Chromium/Firefox/WebKit)统一API
  • 内置自动等待机制,无需显式等待
  • 支持并行执行与网络拦截
  • 提供代码生成器,降低学习成本

安装与基础用法:

pip install playwright
playwright install chromium

典型爬虫脚本:

from playwright.sync_api import sync_playwright
with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()
    page.goto('https://example.com')
    # 等待元素出现
    page.wait_for_selector('.product-item')
    # 提取数据
    items = page.query_selector_all('.product-item')
    data = []
    for item in items:
        title = item.query_selector('.title').inner_text()
        price = item.query_selector('.price').inner_text()
        data.append({'标题': title, '价格': price})
    browser.close()

🚀 新特性:网络拦截——可修改请求头、拦截特定资源:

page.route('**/analytics.js', lambda route: route.abort())  # 拦截追踪脚本
〔避坑指南〕常见异常及解决方案

• 403 Forbidden:检查User-Agent是否被封,尝试更换设备标识;添加Referer头模拟来源页面

• 503 Service Unavailable:请求频率过高触发限流,增加sleep间隔或使用代理池

• ConnectionResetError:网络不稳定或服务器主动断连,添加重试机制(如tenacity库)

• ElementNotInteractableException:元素被遮挡或未激活,使用JavaScript滚动至视口再操作

三、真实项目案例拆解(附完整代码)

案例1:电商商品价格监控系统

目标:每小时抓取某平台电子产品价格变动,生成Excel报表

〔需求分析〕

需采集字段:商品名、价格、库存状态、促销信息;需处理分页(每页40条);需应对价格浮动(动态价格字段)

〔接口分析〕

通过Network发现真实数据源为:
https://api.example.com/products?category=electronics&page={n}

返回JSON结构示例:

字段类型说明
product_idstring唯一标识
titlestring商品标题
pricefloat当前售价
original_pricefloat划线价
stock_statusint0=缺货,1=有货

〔数据采集脚本〕

import requests
import json
import pandas as pd
from time import sleep
def fetch_products(page=1):
    url = "https://api.example.com/products"
    params = {
        "category": "electronics",
        "page": page,
        "sort": "sales_desc"
    }
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
        "Referer": "https://www.example.com/electronics"
    }
    try:
        res = requests.get(url, params=params, headers=headers, timeout=10)
        if res.status_code == 200:
            return res.json()
        else:
            print(f"请求失败: {res.status_code}")
            return None
    except Exception as e:
        print(f"异常: {e}")
        return None
# 主逻辑
all_data = []
for page in range(1, 6):  # 抓取5页
    print(f"正在抓取第{page}页...")
    data = fetch_products(page)
    if data and "data" in data:
        products = data["data"]["products"]
        for p in products:
            all_data.append({
                "商品ID": p["product_id"],
                "标题": p["title"],
                "价格": p["price"],
                "原价": p.get("original_price", 0),
                "库存": "有货" if p["stock_status"] == 1 else "缺货",
                "采集时间": pd.Timestamp.now().strftime("%Y-%m-%d %H:%M")
            })
    sleep(1.5)  # 防止触发限流
# 导出Excel
df = pd.DataFrame(all_data)
df.to_excel("electronics_price.xlsx", index=False)
print(f"成功导出{len(all_data)}条数据!")

〔结果优化〕

通过pandas进行二次处理:

  • 计算折扣率:(原价-现价)/原价
  • 筛选低价商品:price < 500
  • 导出带条件格式的Excel:价格波动大于10%标红

案例2:舆情监控系统——微博关键词抓取

微博数据采集要点

微博采用双Token机制(m_weibo_token + containerid),需先获取首页Cookie,再构造请求头:

步骤操作
① 获取containerid
url = "https://m.weibo.cn/api/container/getIndex?containerid=100103type=1&q={keyword}"
# 模拟移动端请求,User-Agent设为手机端
② 获取cardlist
res = requests.get(url, headers=mobile_headers)
cards = res.json()["data"]["cards"]
for card in cards:
    if card.get("card_type") == 9:  # 微博内容
        mblog = card["mblog"]
        text = mblog["text"]  # 需用lxml清洗HTML标签

文本预处理与情感分析

采集后需清洗HTML标签、提取文字内容:

import re
from lxml import etree
def clean_html(html):
    # 移除HTML标签及特殊字符
    text = re.sub(r'<[^>]+>', '', html)
    text = re.sub(r'[\r\n\t]', '', text)
    return text.strip()
# 示例
raw_text = "<span>今天天气真好!</span>"
cleaned = clean_html(raw_text)  # 输出:今天天气真好!

可接入百度NLP或SnowNLP进行情感分析,统计正面/中性/负面评论比例,生成词云图辅助决策。

四、反爬机制应对策略(实战经验总结)

● 请求头伪装

基础策略:模拟真实浏览器行为

  • User-Agent:从Chrome设备列表随机选择
  • Accept-Language:zh-CN,zh;q=0.9
  • Referer:设置为前一页URL
  • Cookie:保存登录态(需动态获取)

高级技巧:使用Fake User Agent库自动更新UA:

from fake_useragent import UserAgent
ua = UserAgent()
headers = {'User-Agent': ua.random}

● 请求频率控制

避免触发限流:动态调整请求间隔

策略适用场景代码示例
固定间隔低风险目标
import time
time.sleep(2)
随机间隔中风险目标
import random
time.sleep(random.uniform(1.5, 3.5))
指数退避高风险目标
for i in range(3):
    try:
        response = requests.get(url)
        break
    except:
        time.sleep(2**i)  # 2,4,8秒

● Cookie与Token管理

动态获取Token(以知乎为例):

  • 访问首页获取JSESSIONID
  • 调用/api/login接口获取X-Zse-96签名
  • 将Token加入请求头

推荐方案:使用selenium自动登录,保存Cookie到文件:

import pickle
# 保存Cookie
pickle.dump(driver.get_cookies(), open("cookies.pkl", "wb"))
# 加载Cookie
cookies = pickle.load(open("cookies.pkl", "rb"))
for cookie in cookies:
    driver.add_cookie(cookie)

● 代理IP池构建

应对IP封禁:构建动态代理池

代理池管理要点

• 从可信源获取代理(如快代理、阿布云)

• 定期验证代理有效性(requests.get('http://httpbin.org/ip', proxies=proxies))

• 失效代理自动剔除

• 支持HTTP/HTTPS/SOCKS5协议

〔典型案例〕某招聘网站反爬破解

现象:连续请求后返回403,且IP被封

解决方案:

  1. 启用selenium模拟人工行为(鼠标移动、点击)
  2. 请求头加入Origin和X-Requested-With
  3. 每5次请求后插入随机人类行为(滚动页面、点击按钮)
  4. 使用代理IP轮换(每20次请求切换一次)

五、数据导出Excel全流程(pandas核心操作)

标准导出流程

步骤1:构建DataFrame

import pandas as pd
data = [
    {"商品ID": "P001", "标题": "无线鼠标", "价格": 59.9},
    {"商品ID": "P002", "标题": "机械键盘", "价格": 299}
]
df = pd.DataFrame(data)

步骤2:导出Excel

df.to_excel("products.xlsx", index=False,
            sheet_name="价格表",
            startrow=0, startcol=0)

关键参数说明:

  • index=False:不导出行索引
  • sheet_name:工作表名称
  • startrow/startcol:指定起始位置

Excel高级操作技巧

① 多Sheet导出

with pd.ExcelWriter("multi_sheet.xlsx") as writer:
    df1.to_excel(writer, sheet_name="京东", index=False)
    df2.to_excel(writer, sheet_name="天猫", index=False)

② 条件格式(价格异常标红)

def highlight_low(val):
    color = 'red' if val < 100 else ''
    return f'color: {color}'
df.style.applymap(highlight_low, subset=['价格']).to_excel("highlighted.xlsx",
    engine='openpyxl', index=False)

③ 添加数据验证(下拉菜单)

操作代码实现
安装依赖
pip install openpyxl
添加验证
from openpyxl import load_workbook
from openpyxl.worksheet.datavalidation import DataValidation
wb = load_workbook("products.xlsx")
ws = wb.active
dv = DataValidation(type="list", formula1='"有货,缺货,预警"', allow_blank=True)
ws.add_data_validation(dv)
dv.add("D2:D1000")  # 应用于D列
wb.save("products.xlsx")

〔避坑指南〕常见导出问题

六、定时爬虫部署方案

方案对比

● 本地计划任务(Windows Task Scheduler / Linux cron)

  • 优点:零依赖、稳定
  • 缺点:需常开机器
  • 适用:个人轻量级任务

● 云函数(阿里云Function Compute / AWS Lambda)

  • 优点:按需付费、无需运维
  • 缺点:冷启动延迟、网络限制
  • 适用:中小规模任务

● 专业调度平台(APScheduler + 守护进程)

  • 优点:灵活配置、支持重试
  • 缺点:需自行部署
  • 适用:企业级系统

实战:APScheduler定时任务示例

from apscheduler.schedulers.blocking import BlockingScheduler
from datetime import datetime
import os
def job():
    print(f"[{datetime.now()}] 开始执行爬虫任务...")
    try:
        # 调用主爬虫脚本
        os.system("python main_spider.py")
        print("任务完成!")
    except Exception as e:
        print(f"任务失败: {e}")
scheduler = BlockingScheduler(timezone="Asia/Shanghai")
scheduler.add_job(job, 'cron', hour=9, minute=30)  # 每天9:30执行
print("调度器启动中...")
scheduler.start()

部署建议:

七、爬虫合规指南(2024最新政策解读)

● 法律红线

《网络安全法》第27条:任何个人不得从事危害网络安全的活动

《数据安全法》第32条:不得窃取或以其他非法方式获取数据

关键原则:

  • 遵守robots.txt协议(但非法律强制)
  • 禁止绕过技术措施(如加密、登录态)
  • 不得影响网站正常运行(请求频率≤5次/分钟/IP)

● 合规实践清单

  • ① 优先使用官方API(如微博开放平台)
  • ② 设置请求间隔,避免服务器压力
  • ③ 不存储用户隐私数据(身份证、手机号)
  • ④ 数据仅用于个人研究/学习
  • ⑤ 建立数据删除机制(原始数据保留≤30天)

● 典型案例警示

2023年某公司因爬取某招聘网站简历数据被诉,法院判决:

  • 停止侵权
  • 赔偿经济损失50万元
  • 公开道歉

败诉原因:绕过登录限制、批量下载简历(含联系方式)

〔自查清单〕爬虫项目合规性评估

项目合规高风险建议
数据来源公开网页登录后内容优先使用开放API
请求频率<3次/秒>10次/秒添加随机延时
数据类型商品价格用户联系方式脱敏处理
存储方式加密本地存储明文公网共享限制访问权限

八、高频问题答疑

Q1:如何判断网站是否允许爬取?

① 查看robots.txt(如https://example.com/robots.txt)

② 检查网站服务条款(Terms of Service)

③ 通过浏览器访问相同URL,若返回验证码/403则高度敏感

④ 联系网站管理员获取授权

Q2:爬取数据后如何做合规处理?
  • 删除个人身份信息(身份证号、手机号)
  • 聚合处理(如统计平均价格而非单条价格)
  • 添加来源标注(“数据来源:某平台”)
  • 定期清理原始数据(保留摘要统计即可)
Q3:pandas导出Excel时中文乱码怎么办?

原因:openpyxl默认使用utf-8,但Excel(中文版)期望GBK编码

解决方案:

df.to_excel("output.xlsx", engine='openpyxl',
            encoding='utf_8_sig')  # 自动添加BOM头

或直接使用xlsxwriter引擎:

df.to_excel("output.xlsx", engine='xlsxwriter')
Q4:如何处理验证码?

• 简单验证码:使用Tesseract OCR识别

from PIL import Image
import pytesseract
img = Image.open("captcha.png")
text = pytesseract.image_to_string(img)

• 复杂验证码:接入打码平台(如2CAPTCHA,成本约¥0.3/次)

• 最佳实践:通过模拟登录获取Cookie,避免频繁触发验证码

〔网友还关心〕

• 如何批量下载图片?

使用requests.stream()流式下载,避免内存溢出:

import requests
with requests.get(img_url, stream=True) as r:
    with open("image.jpg", "wb") as f:
        for chunk in r.iter_content(chunk_size=8192):
            f.write(chunk)

• 爬虫脚本如何调试?

推荐工具:

  • PyCharm断点调试
  • IPython交互式运行
  • 添加详细日志(logging.basicConfig)

• 大数据量导出Excel卡顿?

解决方案:

  • 分Sheet导出(每Sheet≤100万行)
  • 使用CSV替代(速度提升10倍)
  • 启用openpyxl的write_only模式