微博爬虫 Python —— 从零构建专业级数据采集系统
深入理解微博平台数据结构与反爬机制,掌握 微博爬虫 的核心原理与工程实践,实现从公开数据抓取、用户画像构建到舆情分析的全流程闭环,让数据驱动决策。
立即了解为什么需要微博爬虫?
微博作为中国最大的社交媒体平台之一,日均发布内容超2亿条,蕴含丰富的社会情绪、消费趋势与舆情动态。但其开放API受限、数据结构复杂,需通过爬虫技术实现高效采集。
⚡ 舆情监测
实时追踪热点事件传播路径,识别关键意见领袖(KOL),分析舆情爆发前兆指标,为公关危机预警提供数据支撑。
- 事件爆发时间、传播速度、扩散层级
- 核心话题标签(如#XXX#)的生命周期
- 地域、时段、用户身份分布特征
⚙️ 用户画像
基于用户微博发布内容、互动行为、关注关系等多维数据,构建360°画像模型,支撑精准营销与内容推荐。
- 兴趣标签(娱乐/科技/财经等)
- 活跃时段、设备偏好、地域迁移
- 消费能力、价值观倾向(通过词频分析)
🔍 市场研究
监测品牌声量变化、竞品动态、用户评论情感倾向,量化营销活动效果,优化产品迭代策略。
- 品牌提及率、正负面情感比值
- 用户对功能/价格/服务的反馈聚类
- 行业热词趋势(如“国潮”“智能座舱”)
⚠️ 注意:微博平台对未授权采集行为存在严格风控(IP封禁、验证码、动态加密),所有爬虫项目必须严格遵守《微博用户协议》与《网络安全法》,仅采集公开数据,禁止绕过登录验证抓取私域内容。
核心技术栈与工具链
构建稳定可靠的微博爬虫系统需组合多种技术方案,根据采集目标动态适配。
Requests + Session
适用于轻量级采集任务,通过模拟浏览器请求头与Cookie维持会话状态。配合 微博爬虫 专用的登录态管理模块,可稳定抓取公开微博列表与评论。
import requests
session = requests.Session()
session.headers.update({
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)...',
'Referer': 'https://weibo.com/'
})
# 登录后保存Cookie
session.cookies.update(cookies_dict)
# 请求微博API
resp = session.get('https://m.weibo.cn/api/container/getIndex?containerid=231522type%3D1%26t%3D10%26q%3D%23%E5%8C%97%E4%BA%AC%E4%BA%8C%E6%89%8B%E6%88%BF%23')
Selenium + 浏览器自动化
应对动态加载与复杂验证码场景。通过控制真实浏览器实例加载页面,绕过JS加密校验,适用于需要用户交互的登录流程与深度页解析。
- 使用
undetected-chromedriver规避检测 - 配合
pytesseract识别滑块/文字验证码 - 注入JS修改
__NEXT_DATA__数据提取入口
Scrapy + Middleware
构建分布式爬虫框架,支持高并发、断点续爬与IP代理池管理。自定义Downloader Middleware处理登录态刷新、异常重试。
class WeiboLoginMiddleware:
def process_request(self, request, spider):
# 动态更新Cookie
if not request.cookies.get('SUB'):
request.cookies = self.refresh_cookies()
return request
💡 实践提示:微博移动端(m.weibo.cn)API比PC端(weibo.com)更简洁,且无强JS混淆,是主流采集入口。核心数据接口包括:/api/container/getIndex(主页)、/api/statuses/mymblog(用户微博)、/api/comments/show(评论列表)。
实战演练:抓取指定话题下的热门微博
以“#新能源汽车续航焦虑#”话题为例,演示完整采集流程(含反反爬策略)。
🔍 接口定位
打开微博话题页 → 打开开发者工具(F12)→ 切换至Network → 筛选XHR → 滚动加载时观察请求:
https://m.weibo.cn/api/container/getIndex?containerid=231522type%3D1%26t%3D10%26q%3D%23%E6%96%B0%E8%83%BD%E6%BA%89%E6%B1%BD%E7%BB%AD%E8%A1%8C%E7%84%A6%E8%99%91%23
关键参数说明:
| 参数 | 说明 |
|---|---|
containerid | 话题唯一标识,由type、t、q拼接加密生成 |
page | 页码(从1开始),每页10条 |
since_id | 下一页起始微博ID,用于增量采集 |
📡 请求构造
需添加关键请求头模拟移动端环境:
headers = {
'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 14_0 like Mac OS X)...',
'Referer': 'https://m.weibo.cn/search?containerid=231522type%3D1%26q%3D%23%E6%96%B0%E8%83%BD%E6%BA%89%E6%B1%BD%E7%BB%AD%E8%A1%8C%E7%84%A6%E8%99%91%23',
'X-Requested-With': 'XMLHttpRequest'
}
动态处理since_id避免重复抓取:
def fetch_topic_page(containerid, page=1, since_id=None):
params = {'containerid': containerid, 'page': page}
if since_id:
params['since_id'] = since_id
resp = requests.get('https://m.weibo.cn/api/container/getIndex',
headers=headers, params=params, timeout=10)
return resp.json()
📄 数据解析
返回JSON中data.cards为微博列表,每条含:mblog.id、mblog.text(含HTML标签)、mblog.user.screen_name等。
import re
from html import unescape
def clean_html(text):
# 移除HTML标签与转义字符
text = re.sub(r'<[^>]+>', '', text)
return unescape(text).strip()
data = resp.json()['data']['cards']
for card in data:
if card.get('card_type') == 9: # 仅处理微博类型卡片
mblog = card['mblog']
print({
'id': mblog['id'],
'text': clean_html(mblog['text']),
'user': mblog['user']['screen_name'],
'attitudes': mblog['attitudes_count'],
'comments': mblog['comments_count']
})
💾 存储与增量
使用SQLite存储并记录最新since_id,下次请求时跳过已采集数据:
import sqlite3
conn = sqlite3.connect('weibo.db')
c = conn.cursor()
c.execute('''CREATE TABLE IF NOT EXISTS topic_weibo
(id TEXT PRIMARY KEY, text TEXT, user TEXT,
attitudes INT, comments INT, created_at TEXT)''')
# 插入数据(带冲突忽略)
for item in weibo_list:
try:
c.execute("INSERT OR IGNORE INTO topic_weibo VALUES (?,?,?,?,?,?)",
(item['id'], item['text'], item['user'],
item['attitudes'], item['comments'], item['created_at']))
except Exception as e:
print(f"Error: {e}")
conn.commit()
🔍 拓展技巧:评论数据需通过/api/comments/show?id={mid}&page={page}单独请求,注意mid是微博ID而非id字段。建议设置请求间隔≥1.5秒,避免触发风控。
微博反爬机制深度解析
微博平台持续升级风控策略,需针对性设计应对方案:
🔒 登录态校验
未登录用户访问API返回{"ok":0,"msg":"需要登录"}。需维持有效Cookie,但SUB参数会定期失效,需自动刷新。
- 方案1:本地保存长期有效的Cookie(需人工登录后提取)
- 方案2:模拟登录流程(需处理滑块验证,见下方进阶)
📊 动态参数加密
部分接口需携带X-XSRF-TOKEN或st参数,通过JS动态生成。可逆向分析加密逻辑或使用Selenium注入Cookie。
# 从页面源码提取st参数
st = re.search(r'window\.st = "([^"]+)"', resp.text).group(1)
params['st'] = st
🛑 IP封禁策略
高频请求后触发{"ok":0,"msg":"您的访问过于频繁,请稍后再试"}。解决方案:
- IP代理池:接入第三方代理服务(如快代理、芝麻HTTP)
- 请求降频:设置随机延时(1.2~3.0秒)
- 异常重试:指数退避机制(1s→2s→4s→8s)
⚠️ 重要警告:微博明确禁止自动化采集,所有爬虫项目应遵守robots.txt规则(https://weibo.com/robots.txt明确禁止/api/路径),建议仅用于学术研究或已获授权的商业场景。
时间轴:微博反爬演进历程
2018年前:开放API为主
• 2018-03
微博开放平台提供标准REST API,无需复杂反爬,但数据量受限。
2019年:JS混淆与参数加密
• 2019-06
引入st参数动态生成,拦截静态爬虫;移动端接口开始加密。
2021年:滑块验证全覆盖
• 2021-11
登录/请求关键接口强制滑块验证,传统Cookie复用失效。
2023年:AI风控升级
• 2023-08
引入行为分析模型,识别非人类操作(如固定频率请求、无鼠标轨迹)。
进阶实战:自动登录与滑块绕过
针对需登录的私域数据采集场景(如关注列表、粉丝详情),需实现自动化登录流程。
步骤1:模拟登录请求
微博登录分三步:prelogin→login→confirm,其中login需RSA加密密码与pcid。
import base64
import rsa
import json
def encrypt_pwd(password, pubkey, nonce, timestamp):
# 构造RSA公钥
key = rsa.PublicKey(int(pubkey, 16), 65537)
# 拼接明文
message = f"{timestamp}\t{nonce}\n{password}"
# RSA加密并Base64编码
return base64.b64encode(rsa.encrypt(message.encode(), key)).decode()
步骤2:处理滑块验证
使用Selenium截图滑块图片 → 调用OCR识别缺口位置 → 计算拖动轨迹(模拟人类加减速)→ 注入JS触发验证。
from selenium import webdriver
from PIL import Image
import io
driver = webdriver.Chrome()
driver.get('https://weibo.com/login.php')
# 定位滑块区域
slider = driver.find_element(By.CLASS_NAME, 'slider')
bg_img = Image.open(io.BytesIO(slider.screenshot_as_png))
# 识别缺口位置(需训练YOLO模型或使用现成OCR库)
gap_x = ocr_gap_position(bg_img)
# 计算拖动轨迹(3段曲线)
tracks = get_slide_tracks(gap_x, 400)
for track in tracks:
ActionChains(driver).move_by_offset(track, 0).perform()
ActionChains(driver).release().perform()
💡 实用建议:对于高价值数据,可采用“人工+自动化”混合模式——人工完成首次登录,程序保存Cookie;定期检查Cookie有效性,失效时触发人工重登。
法律合规与风险规避
技术无罪,但滥用有责!请严格遵守以下法律边界:
✅ 合规操作
- 仅采集
robots.txt允许的公开数据 - 不绕过登录验证抓取私域内容
- 设置合理请求频率(≤5次/分钟)
- 数据仅用于个人研究或授权场景
❌ 高危行为
- 批量抓取用户联系方式、IP地址
- 绕过验证码/加密参数
- 将数据转售第三方
- 影响微博服务器正常运行
典型判例参考
| 案件名称 | 判决要点 | 法律依据 |
|---|---|---|
| 微博诉饭友App案 | 认定抓取用户评论数据构成不正当竞争 | 《反不正当竞争法》第2条 |
| 脉脉诉新浪微博案 | API调用超授权范围需承担侵权责任 | 《网络安全法》第44条 |
| 某公司爬取微博热搜榜案 | 因未授权导致服务中断,被判赔偿200万元 | 《刑法》第285条 |
📌 权威指引:2023年《生成式AI服务管理暂行办法》明确要求,AI训练数据需合法获取。微博数据用于大模型训练前,必须完成合规评估。
网友最常问的10个问题
针对常见困惑,提供精准解答:
评论数不一致的原因
微博评论数据分三级:总评论数(含删除/隐藏)、可见评论数(当前登录用户可见)、可抓取评论数(仅公开评论)。API返回的comments_count是“总评论数”,而实际可抓取的仅为其中一部分。
解决方案:
① 通过/api/comments/show?id={mid}&filter_type=1获取公开评论;
② 对比comments_list实际数量与total_number字段;
③ 使用since_id分页采集避免遗漏。
获取用户关注列表
关注列表接口:/api/container/getIndex?containerid=231093_-_selffollowed&page=1,需用户授权。未登录用户仅能获取前10条公开信息(通过搜索用户主页获取containerid)。
替代方案:
① 使用“关注人”话题页(如https://weibo.com/u/1234567890/follow);
② 解析页面__INITIAL_DATA__中的list字段;
③ 结合Selenium模拟滚动加载。
API限流策略
| 接口类型 | 未登录限流 | 登录用户限流 |
|---|---|---|
| 主页列表 | 5次/分钟 | 30次/分钟 |
| 微博详情 | 10次/分钟 | 50次/分钟 |
| 评论列表 | 5次/分钟 | 20次/分钟 |
超过限流后返回403或414错误,需等待30分钟自动恢复。建议使用requests.adapters.HTTPAdapter(pool_connections=10, pool_maxsize=5)控制并发。
防封IP策略
微博风控三重机制:
① IP维度:同一IP高频请求触发验证码;
② 行为维度:固定请求间隔、无鼠标轨迹;
③ 设备指纹:User-Agent+Canvas指纹组合识别。
解决方案:
- 使用代理IP池(推荐 residential proxy);
- 请求间隔随机化(1.5~4.0秒);
- 添加鼠标移动轨迹JS注入;
- 定期更换User-Agent(从真实设备池中随机选择)。
私信内容采集
⚠️ 绝对禁止!微博私信属于用户隐私信息,采集即违反《个人信息保护法》第13条。所有合法爬虫必须严格排除:
- 私信(/cgi-bin/message/)
- 私密微博(仅自己可见)
- 限制评论的微博
- 仅关注可见内容
图片链接解析
微博图片分三级:
① 原图:https://wx1.sinaimg.cn/large/xxx.jpg(带/large/路径);
② 中图:/orj360/;
③ 缩略图:/thumb150/。
从mblog.pics字段提取原图链接:
if 'pics' in mblog and mblog['pics']:
for pic in mblog['pics']:
original_url = pic['url'].replace('/wap180/', '/large/')
print(original_url)
登录后仍提示“需要登录”
常见原因:
① Cookie未生效:检查Domain是否为.weibo.com;
② Cookie过期:SUB参数有效期约7天;
③ 缺少必要Header:必须包含X-Requested-With: XMLHTTPReques;
④ Referer校验:请求头需带Referer: https://m.weibo.cn/。
数据更新频率
微博实时性极强:
- 热搜榜:每5分钟更新;
- 话题页:滚动加载无固定刷新;
- 用户主页:新微博即时可见。
建议采集策略:
- 监测类任务:每2分钟轮询一次;
- 归档类任务:每小时增量更新;
- 使用since_id而非时间戳,避免遗漏。
历史微博采集
微博API仅返回最近200条微博(通过since_id倒序)。完整历史数据需:
① 用户主动导出(微博电脑版→设置→数据管理→导出);
② 使用第三方工具(如WeiboKeeper);
③ 联系微博官方数据合作。
合规性自检清单
- □ 未绕过robots.txt限制
- □ 未抓取私域数据(私信/私密内容)
- □ 请求频率≤5次/分钟
- □ 数据仅用于授权用途
- □ 已删除用户明确要求删除的数据
- □ 存在《数据安全协议》
任一“否”即存在法律风险,建议在项目启动前由法务团队审核。
延伸资源
巩固知识,拓展技能:
📚 开源项目
Weibo-Crawler(GitHub):基于Scrapy的分布式采集框架weibo-comment-spider:专注评论情感分析weibo-login-selenium:自动化登录模板
🎓 学习路径
- Step1:掌握Requests/BeautifulSoup基础
- Step2:学习Selenium自动化原理
- Step3:分析JS加密逻辑(Chrome DevTools)
- Step4:构建反反爬策略(IP池+行为模拟)
📡 实时数据
替代方案(合规前提下):
- 微博热搜榜API(需企业认证)
- 新榜(newrank.cn)公开指数
- 微指数(weibo.com/index)历史趋势
💡 最后提醒:技术是双刃剑,用之以正,利国利民;用之以邪,害人害己。请始终将合规性置于技术能力之上。