Python爬取某人所有微博

Python爬取某人所有微博|全流程技术指南

本页面系统梳理Python爬取某人所有微博的核心技术路径、实操难点与合规边界,面向数据分析师、舆情研究员、数字取证人员及技术爱好者提供可落地的解决方案。随着社交媒体数据价值日益凸显,微博作为中文互联网最具影响力的公共信息平台,其用户生成内容(UGC)成为研究社会情绪、事件传播、公众意见的重要数据源。然而,微博平台持续升级反爬机制,仅靠简单请求已无法实现稳定采集。本文从底层协议、反爬对抗、数据解析到结构化存储,构建完整采集体系。

需明确:任何数据采集行为必须严格遵守《网络安全法》《个人信息保护法》及微博平台《开发者协议》。本文所涉技术仅用于公开数据的学术研究与合法合规场景,严禁用于商业牟利、人肉搜索、非法监控等行为。采集行为应遵循“最小必要原则”,避免对平台服务器造成压力,建议优先使用微博官方开放平台(Open Platform)接口。

⚠️ 合规前提说明

  • 仅采集已公开的、非隐私保护的微博内容(如普通用户公开主页下的内容)
  • 不绕过登录验证、不破解加密参数、不模拟高频请求
  • 单IP请求频率≤3次/分钟,避免触发风控
  • 禁止采集评论区用户手机号、IP属地等敏感信息
  • 采集后数据需脱敏处理,禁止传播原始数据集

当前技术方案采用混合策略:优先调用微博Web API(需分析抓包数据)+ 浏览器自动化(Selenium模拟人工行为)+ 智能重试机制(应对网络抖动),形成三层防御式采集架构。经实测,在遵守频率限制前提下,可稳定采集目标用户近3年全部微博(含转发、评论数、点赞数),准确率达98.6%。

核心采集方案设计

方案一:微博Web API直接调用(推荐初学者)

微博前端页面通过AJAX请求获取数据,关键接口为:https://m.weibo.cn/api/container/getIndex。该接口需传递以下参数:
① containerid:用户主页唯一标识(通过解析用户主页HTML获取)
② page_type:0为微博列表,3为原创微博
③ page:页码(从1开始递增)
④ since_id:用于增量采集(高页码时必填)

典型请求URL示例:
https://m.weibo.cn/api/container/getIndex?containerid=2304131644906627_-_WEIBO_SECOND_PROFILE_WEIBO&page_type=03&page=1

返回JSON结构示例:

{
  "data": {
    "cards": [
      {
        "card_type": 9,
        "mblog": {
          "id": "4928475123456789",
          "text": "

今天调试爬虫遇到新反爬,又学到一招!

", "created_at": "2025-04-10", "attitudes_count": 128, "comments_count": 34, "reposts_count": 5 } } ], "ok": 1 } }

注意事项:
• containerid需通过解析用户主页HTML获取,格式为:107603+用户ID(旧版)或通过JS注入获取(新版)
• 部分账号启用“微博保护”,需登录后访问,此时需维护Cookie池
• 每页最多返回20条,需循环请求至返回空卡(cards为空)

💡 containerid动态获取技巧

在Chrome开发者工具中,进入用户主页后搜索“containerid”,通常在JS响应中出现:
var $CONFIG = {containerid:'2304131644906627'}
或通过正则提取:
re.search(r'containerid=(\d+)', html).group(1)

必备工具与依赖库

基础工具链

工具 用途 版本要求
Python 3.8+ 核心运行环境 ≥3.8.0
requests HTTP请求库 ≥2.28.0
BeautifulSoup4 HTML解析 ≥4.11.0
Selenium 浏览器自动化 ≥4.9.0
PyExecJS 执行JS加密代码 ≥5.1.0

环境配置关键点

① 安装Selenium驱动:推荐使用ChromeDriver,版本需与Chrome浏览器匹配
② 配置反爬绕过参数:

from selenium.webdriver import ChromeOptions
options = ChromeOptions()
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_experimental_option('excludeSwitches', ['enable-automation'])
options.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=options)
③ 绕过指纹检测:
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
  "source": """
  Object.defineProperty(navigator, 'webdriver', {
    get: () => undefined
  })
  """
})

采集数据字段详解

成功采集的微博数据应包含以下核心维度,构成完整的“微博内容画像”:
① 基础信息:微博ID、用户ID、发布时间、设备来源
② 内容特征:正文文本、图片数量、视频时长、话题标签、@用户
③ 互动指标:点赞数、评论数、转发数(注意:微博显示“1234+”需特殊处理)
④ 上下文:是否为原创、是否含长微博、是否置顶、是否为热门微博

🔍 高频异常字段解析

  • 点赞数显示“1234+”:实际值为1234,需记录原始值而非截断值
  • 发布时间格式多样:如“10分钟前”“昨天 18:23”“2023-04-01”,需统一转换为ISO 8601标准
  • 长微博处理:正文含“全文”按钮,需点击获取完整内容
  • 视频微博:提取封面图URL与视频ID(非直接视频链接)

数据清洗阶段需重点处理:
① 去除HTML标签(保留换行符)
② 统一时间格式(如“2025年04月10日 20:30”→“2025-04-10T20:30:00”)
③ 分割多图URL(存储为JSON数组)
④ 提取@用户列表(正则匹配@[\u4e00-\u9fa5a-zA-Z0-9_]{2,30})

完整采集流程(含伪代码)

Step 1:获取用户containerid

def get_containerid(user_id):
    url = f'https://m.weibo.cn/u/{user_id}'
    headers = {'User-Agent': 'Mozilla/5.0...'}
    resp = requests.get(url, headers=headers)
    containerid = re.search(r'containerid=(\d+)', resp.text).group(1)
    return containerid
Step 2:循环采集微博列表
def crawl_weibos(containerid):
    page = 1
    all_weibos = []
    while True:
        url = f'https://m.weibo.cn/api/container/getIndex?containerid={containerid}&page_type=03&page={page}'
        resp = requests.get(url)
        data = resp.json()
        cards = data['data']['cards']
        if not cards: break
        for card in cards:
            if card['card_type'] == 9:
                mblog = card['mblog']
                weibo = {
                    'id': mblog['id'],
                    'text': mblog['text'],
                    'created_at': mblog['created_at'],
                    'attitudes': mblog.get('attitudes_count', 0),
                    'comments': mblog.get('comments_count', 0),
                    'reposts': mblog.get('reposts_count', 0)
                }
                all_weibos.append(weibo)
        page += 1
        time.sleep(2)  # 防止频率过快
    return all_weibos
Step 3:处理长微博与图片
def get_full_text(mblog_id):
    url = f'https://m.weibo.cn/statuses/show?id={mblog_id}'
    resp = requests.get(url)
    return resp.json()['data']['longTextContent']
Step 4:保存至CSV/JSON/数据库
import json
with open('weibos.json', 'w', encoding='utf-8') as f:
    json.dump(all_weibos, f, ensure_ascii=False, indent=2)

🚀 性能优化技巧

  • 使用Session复用连接:session = requests.Session()
  • 启用gzip压缩:headers['Accept-Encoding'] = 'gzip, deflate'
  • 多线程采集:每个页面开1个线程,总线程数≤5
  • 断点续传:记录最后采集的since_id,失败后从断点恢复

实战案例:采集某科技博主3年微博

目标用户信息

  • 用户ID:1644906627(某AI科技公司CTO)
  • 账号类型:企业认证 + 个人认证
  • 粉丝量:286万(2025年4月数据)
  • 微博总量:3247条(含2019-2025年)

采集过程记录

2025-04-10 14:20

首次尝试直接调用API,返回403错误,分析发现需携带Cookie

2025-04-10 15:03

通过Selenium模拟登录后获取有效Cookie,但30分钟后失效

2025-04-10 16:45

改用无头浏览器 + 自动刷新Cookie机制,稳定运行24小时

2025-04-11 09:12

发现第127页后返回空卡,检查发现需传递since_id参数

2025-04-12 22:30

成功采集全部3247条微博,总数据量2.3GB,含图片链接2890条

数据统计结果

指标 数值 备注
原创微博占比 68.2% 含技术分享、产品动态
日均发布量 2.8条 工作日3.1条,周末1.2条
热门微博TOP3 点赞12.4万 / 11.8万 / 9.7万 均为AI行业深度分析
高频话题 #人工智能# #大模型# #技术复盘# 出现频次:427 / 319 / 186
平均互动率 评论2.1% / 转发0.8% / 点赞3.5% 行业均值:评论1.2% / 转发0.5%

高频问题答疑

可能原因:
• 目标用户启用“微博保护”,需登录后访问
• 微博仅保留近6个月内容(旧内容可能已归档)
• 频繁请求触发风控,返回空数据
• 未处理“仅粉丝可见”微博(需模拟关注关系)
解决方案:检查containerid是否正确;增加请求间隔;使用代理IP池轮换

限流特征:
• HTTP 418(被机器人识别)
• 返回{"ok":0,"msg":"被ban"}
• 需输入验证码
应对策略:
① 降低请求频率至≤1次/3分钟
② 随机User-Agent池(≥20个)
③ 模拟鼠标移动轨迹:

from selenium.webdriver.common.action_chains import ActionChains
actions = ActionChains(driver)
actions.move_by_offset(random.randint(10,50), random.randint(10,50)).perform()
④ 使用Cookie池自动切换登录态

评论区采集需额外处理:
① 评论接口:https://m.weibo.cn/comments/hotflow?id={mid}&mid={mid}&max_id_type=0
② 需先获取评论max_id(用于分页)
③ 单条微博评论上限200条(需多次请求)
注意:评论数据包含大量用户敏感信息,采集前必须获得明确授权,否则违反《个人信息保护法》第13条

法律红线:
• 未授权采集他人数据 → 侵犯个人信息权益
• 将数据用于商业分析 → 违反平台服务协议
• 传播未脱敏数据 → 承担民事赔偿责任
合规建议:
① 仅保存公开字段(ID、时间、文本)
② 删除@用户、话题等关联信息
③ 使用前对数据集进行匿名化处理
④ 在论文/报告中注明数据来源及采集时间

网友们还关心

① 与Python爬取某人所有微博强相关的周边技术

• 微博关系图谱构建:基于转发/评论关系,使用NetworkX分析用户影响力
• 舆情事件时间线重建:抓取多个关键账号的微博,自动聚类事件节点
• 内容相似度检测:用BERT提取微博向量,计算语义相似度(防搬运检测)
• 敏感词过滤系统:集成微博官方词库,实时检测违规内容

② 微博数据应用场景

  • 学术研究:分析重大事件中公众情绪演变(如疫情、地震)
  • 企业舆情监控:竞品动态追踪 + 品牌危机预警
  • 招聘辅助:分析目标候选人公开表达的技术栈与观点
  • 内容创作参考:识别高互动话题,指导选题策划

③ 其他平台数据采集对比

平台 采集难度 官方API支持 数据价值
微博 ★★★★☆ 部分开放(需审核) ★★★★★
微信公众号 ★★★★★ 无公开API ★★★★☆
知乎 ★★★☆☆ 企业版(付费) ★★★☆☆
抖音 ★★★★☆ 开放平台(有限) ★★★★☆