微博爬虫 Python —— 从零构建专业级数据采集系统

深入理解微博平台数据结构与反爬机制,掌握 微博爬虫 的核心原理与工程实践,实现从公开数据抓取、用户画像构建到舆情分析的全流程闭环,让数据驱动决策。

立即了解

为什么需要微博爬虫?

微博作为中国最大的社交媒体平台之一,日均发布内容超2亿条,蕴含丰富的社会情绪、消费趋势与舆情动态。但其开放API受限、数据结构复杂,需通过爬虫技术实现高效采集。

⚡ 舆情监测

实时追踪热点事件传播路径,识别关键意见领袖(KOL),分析舆情爆发前兆指标,为公关危机预警提供数据支撑。

  • 事件爆发时间、传播速度、扩散层级
  • 核心话题标签(如#XXX#)的生命周期
  • 地域、时段、用户身份分布特征

⚙️ 用户画像

基于用户微博发布内容、互动行为、关注关系等多维数据,构建360°画像模型,支撑精准营销与内容推荐。

  • 兴趣标签(娱乐/科技/财经等)
  • 活跃时段、设备偏好、地域迁移
  • 消费能力、价值观倾向(通过词频分析)

🔍 市场研究

监测品牌声量变化、竞品动态、用户评论情感倾向,量化营销活动效果,优化产品迭代策略。

  • 品牌提及率、正负面情感比值
  • 用户对功能/价格/服务的反馈聚类
  • 行业热词趋势(如“国潮”“智能座舱”)

⚠️ 注意:微博平台对未授权采集行为存在严格风控(IP封禁、验证码、动态加密),所有爬虫项目必须严格遵守《微博用户协议》与《网络安全法》,仅采集公开数据,禁止绕过登录验证抓取私域内容。

核心技术栈与工具链

构建稳定可靠的微博爬虫系统需组合多种技术方案,根据采集目标动态适配。

Requests + Session

适用于轻量级采集任务,通过模拟浏览器请求头与Cookie维持会话状态。配合 微博爬虫 专用的登录态管理模块,可稳定抓取公开微博列表与评论。

import requests
session = requests.Session()
session.headers.update({
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)...',
    'Referer': 'https://weibo.com/'
})
# 登录后保存Cookie
session.cookies.update(cookies_dict)
# 请求微博API
resp = session.get('https://m.weibo.cn/api/container/getIndex?containerid=231522type%3D1%26t%3D10%26q%3D%23%E5%8C%97%E4%BA%AC%E4%BA%8C%E6%89%8B%E6%88%BF%23')

Selenium + 浏览器自动化

应对动态加载与复杂验证码场景。通过控制真实浏览器实例加载页面,绕过JS加密校验,适用于需要用户交互的登录流程与深度页解析。

  • 使用 undetected-chromedriver 规避检测
  • 配合 pytesseract 识别滑块/文字验证码
  • 注入JS修改__NEXT_DATA__数据提取入口

Scrapy + Middleware

构建分布式爬虫框架,支持高并发、断点续爬与IP代理池管理。自定义Downloader Middleware处理登录态刷新、异常重试。

class WeiboLoginMiddleware:
    def process_request(self, request, spider):
        # 动态更新Cookie
        if not request.cookies.get('SUB'):
            request.cookies = self.refresh_cookies()
        return request

💡 实践提示:微博移动端(m.weibo.cn)API比PC端(weibo.com)更简洁,且无强JS混淆,是主流采集入口。核心数据接口包括:/api/container/getIndex(主页)、/api/statuses/mymblog(用户微博)、/api/comments/show(评论列表)。

实战演练:抓取指定话题下的热门微博

以“#新能源汽车续航焦虑#”话题为例,演示完整采集流程(含反反爬策略)。

🔍 接口定位

打开微博话题页 → 打开开发者工具(F12)→ 切换至Network → 筛选XHR → 滚动加载时观察请求:

https://m.weibo.cn/api/container/getIndex?containerid=231522type%3D1%26t%3D10%26q%3D%23%E6%96%B0%E8%83%BD%E6%BA%89%E6%B1%BD%E7%BB%AD%E8%A1%8C%E7%84%A6%E8%99%91%23

关键参数说明:

参数说明
containerid话题唯一标识,由type、t、q拼接加密生成
page页码(从1开始),每页10条
since_id下一页起始微博ID,用于增量采集

📡 请求构造

需添加关键请求头模拟移动端环境:

headers = {
    'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 14_0 like Mac OS X)...',
    'Referer': 'https://m.weibo.cn/search?containerid=231522type%3D1%26q%3D%23%E6%96%B0%E8%83%BD%E6%BA%89%E6%B1%BD%E7%BB%AD%E8%A1%8C%E7%84%A6%E8%99%91%23',
    'X-Requested-With': 'XMLHttpRequest'
}

动态处理since_id避免重复抓取:

def fetch_topic_page(containerid, page=1, since_id=None):
    params = {'containerid': containerid, 'page': page}
    if since_id:
        params['since_id'] = since_id
    resp = requests.get('https://m.weibo.cn/api/container/getIndex',
                        headers=headers, params=params, timeout=10)
    return resp.json()

📄 数据解析

返回JSON中data.cards为微博列表,每条含:mblog.id、mblog.text(含HTML标签)、mblog.user.screen_name等。

import re
from html import unescape
def clean_html(text):
    # 移除HTML标签与转义字符
    text = re.sub(r'<[^>]+>', '', text)
    return unescape(text).strip()
data = resp.json()['data']['cards']
for card in data:
    if card.get('card_type') == 9:  # 仅处理微博类型卡片
        mblog = card['mblog']
        print({
            'id': mblog['id'],
            'text': clean_html(mblog['text']),
            'user': mblog['user']['screen_name'],
            'attitudes': mblog['attitudes_count'],
            'comments': mblog['comments_count']
        })

💾 存储与增量

使用SQLite存储并记录最新since_id,下次请求时跳过已采集数据:

import sqlite3
conn = sqlite3.connect('weibo.db')
c = conn.cursor()
c.execute('''CREATE TABLE IF NOT EXISTS topic_weibo
    (id TEXT PRIMARY KEY, text TEXT, user TEXT,
     attitudes INT, comments INT, created_at TEXT)''')
# 插入数据(带冲突忽略)
for item in weibo_list:
    try:
        c.execute("INSERT OR IGNORE INTO topic_weibo VALUES (?,?,?,?,?,?)",
                  (item['id'], item['text'], item['user'],
                   item['attitudes'], item['comments'], item['created_at']))
    except Exception as e:
        print(f"Error: {e}")
conn.commit()

🔍 拓展技巧:评论数据需通过/api/comments/show?id={mid}&page={page}单独请求,注意mid是微博ID而非id字段。建议设置请求间隔≥1.5秒,避免触发风控。

微博反爬机制深度解析

微博平台持续升级风控策略,需针对性设计应对方案:

🔒 登录态校验

未登录用户访问API返回{"ok":0,"msg":"需要登录"}。需维持有效Cookie,但SUB参数会定期失效,需自动刷新。

  • 方案1:本地保存长期有效的Cookie(需人工登录后提取)
  • 方案2:模拟登录流程(需处理滑块验证,见下方进阶)

📊 动态参数加密

部分接口需携带X-XSRF-TOKEN或st参数,通过JS动态生成。可逆向分析加密逻辑或使用Selenium注入Cookie。

# 从页面源码提取st参数
st = re.search(r'window\.st = "([^"]+)"', resp.text).group(1)
params['st'] = st

🛑 IP封禁策略

高频请求后触发{"ok":0,"msg":"您的访问过于频繁,请稍后再试"}。解决方案:

  • IP代理池:接入第三方代理服务(如快代理、芝麻HTTP)
  • 请求降频:设置随机延时(1.2~3.0秒)
  • 异常重试:指数退避机制(1s→2s→4s→8s)

⚠️ 重要警告:微博明确禁止自动化采集,所有爬虫项目应遵守robots.txt规则(https://weibo.com/robots.txt明确禁止/api/路径),建议仅用于学术研究或已获授权的商业场景。

时间轴:微博反爬演进历程

2018年前:开放API为主

• 2018-03

微博开放平台提供标准REST API,无需复杂反爬,但数据量受限。

2019年:JS混淆与参数加密

• 2019-06

引入st参数动态生成,拦截静态爬虫;移动端接口开始加密。

2021年:滑块验证全覆盖

• 2021-11

登录/请求关键接口强制滑块验证,传统Cookie复用失效。

2023年:AI风控升级

• 2023-08

引入行为分析模型,识别非人类操作(如固定频率请求、无鼠标轨迹)。

进阶实战:自动登录与滑块绕过

针对需登录的私域数据采集场景(如关注列表、粉丝详情),需实现自动化登录流程。

步骤1:模拟登录请求

微博登录分三步:prelogin→login→confirm,其中login需RSA加密密码与pcid。

import base64
import rsa
import json
def encrypt_pwd(password, pubkey, nonce, timestamp):
    # 构造RSA公钥
    key = rsa.PublicKey(int(pubkey, 16), 65537)
    # 拼接明文
    message = f"{timestamp}\t{nonce}\n{password}"
    # RSA加密并Base64编码
    return base64.b64encode(rsa.encrypt(message.encode(), key)).decode()

步骤2:处理滑块验证

使用Selenium截图滑块图片 → 调用OCR识别缺口位置 → 计算拖动轨迹(模拟人类加减速)→ 注入JS触发验证。

from selenium import webdriver
from PIL import Image
import io
driver = webdriver.Chrome()
driver.get('https://weibo.com/login.php')
# 定位滑块区域
slider = driver.find_element(By.CLASS_NAME, 'slider')
bg_img = Image.open(io.BytesIO(slider.screenshot_as_png))
# 识别缺口位置(需训练YOLO模型或使用现成OCR库)
gap_x = ocr_gap_position(bg_img)
# 计算拖动轨迹(3段曲线)
tracks = get_slide_tracks(gap_x, 400)
for track in tracks:
    ActionChains(driver).move_by_offset(track, 0).perform()
ActionChains(driver).release().perform()

💡 实用建议:对于高价值数据,可采用“人工+自动化”混合模式——人工完成首次登录,程序保存Cookie;定期检查Cookie有效性,失效时触发人工重登。

网友最常问的10个问题

针对常见困惑,提供精准解答:

评论数不一致的原因

微博评论数据分三级:总评论数(含删除/隐藏)、可见评论数(当前登录用户可见)、可抓取评论数(仅公开评论)。API返回的comments_count是“总评论数”,而实际可抓取的仅为其中一部分。

解决方案:
① 通过/api/comments/show?id={mid}&filter_type=1获取公开评论;
② 对比comments_list实际数量与total_number字段;
③ 使用since_id分页采集避免遗漏。

获取用户关注列表

关注列表接口:/api/container/getIndex?containerid=231093_-_selffollowed&page=1,需用户授权。未登录用户仅能获取前10条公开信息(通过搜索用户主页获取containerid)。

替代方案:
① 使用“关注人”话题页(如https://weibo.com/u/1234567890/follow);
② 解析页面__INITIAL_DATA__中的list字段;
③ 结合Selenium模拟滚动加载。

API限流策略

接口类型未登录限流登录用户限流
主页列表5次/分钟30次/分钟
微博详情10次/分钟50次/分钟
评论列表5次/分钟20次/分钟

超过限流后返回403或414错误,需等待30分钟自动恢复。建议使用requests.adapters.HTTPAdapter(pool_connections=10, pool_maxsize=5)控制并发。

防封IP策略

微博风控三重机制:
① IP维度:同一IP高频请求触发验证码;
② 行为维度:固定请求间隔、无鼠标轨迹;
③ 设备指纹:User-Agent+Canvas指纹组合识别。

解决方案:
- 使用代理IP池(推荐 residential proxy);
- 请求间隔随机化(1.5~4.0秒);
- 添加鼠标移动轨迹JS注入;
- 定期更换User-Agent(从真实设备池中随机选择)。

私信内容采集

⚠️ 绝对禁止!微博私信属于用户隐私信息,采集即违反《个人信息保护法》第13条。所有合法爬虫必须严格排除:
- 私信(/cgi-bin/message/)
- 私密微博(仅自己可见)
- 限制评论的微博
- 仅关注可见内容

图片链接解析

微博图片分三级:
① 原图:https://wx1.sinaimg.cn/large/xxx.jpg(带/large/路径);
② 中图:/orj360/;
③ 缩略图:/thumb150/。

从mblog.pics字段提取原图链接:

if 'pics' in mblog and mblog['pics']:
    for pic in mblog['pics']:
        original_url = pic['url'].replace('/wap180/', '/large/')
        print(original_url)

登录后仍提示“需要登录”

常见原因:
① Cookie未生效:检查Domain是否为.weibo.com;
② Cookie过期:SUB参数有效期约7天;
③ 缺少必要Header:必须包含X-Requested-With: XMLHTTPReques;
④ Referer校验:请求头需带Referer: https://m.weibo.cn/。

数据更新频率

微博实时性极强:
- 热搜榜:每5分钟更新;
- 话题页:滚动加载无固定刷新;
- 用户主页:新微博即时可见。

建议采集策略:
- 监测类任务:每2分钟轮询一次;
- 归档类任务:每小时增量更新;
- 使用since_id而非时间戳,避免遗漏。

历史微博采集

微博API仅返回最近200条微博(通过since_id倒序)。完整历史数据需:
① 用户主动导出(微博电脑版→设置→数据管理→导出);
② 使用第三方工具(如WeiboKeeper);
③ 联系微博官方数据合作。

合规性自检清单

  • □ 未绕过robots.txt限制
  • □ 未抓取私域数据(私信/私密内容)
  • □ 请求频率≤5次/分钟
  • □ 数据仅用于授权用途
  • □ 已删除用户明确要求删除的数据
  • □ 存在《数据安全协议》

任一“否”即存在法律风险,建议在项目启动前由法务团队审核。

延伸资源

巩固知识,拓展技能:

📚 开源项目

  • Weibo-Crawler(GitHub):基于Scrapy的分布式采集框架
  • weibo-comment-spider:专注评论情感分析
  • weibo-login-selenium:自动化登录模板

🎓 学习路径

  • Step1:掌握Requests/BeautifulSoup基础
  • Step2:学习Selenium自动化原理
  • Step3:分析JS加密逻辑(Chrome DevTools)
  • Step4:构建反反爬策略(IP池+行为模拟)

📡 实时数据

替代方案(合规前提下):
- 微博热搜榜API(需企业认证)
- 新榜(newrank.cn)公开指数
- 微指数(weibo.com/index)历史趋势

💡 最后提醒:技术是双刃剑,用之以正,利国利民;用之以邪,害人害己。请始终将合规性置于技术能力之上。