Python爬取某人所有微博|技术原理与实战详解
在当前大数据与内容生态深度整合的背景下,公开社交数据已成为研究公众舆论、舆情演变、用户行为偏好的关键资源。微博作为中国最具影响力的公开社交平台之一,其海量用户生成内容(UGC)具有极高的信息密度与社会价值。而Python爬取某人所有微博,不仅是技术实践的典型场景,更是理解网络数据采集逻辑、反爬机制对抗、数据合规边界的一站式教学案例。
本页面系统梳理Python爬取某人所有微博的完整技术路径,涵盖从基础请求构造、动态参数逆向、反爬策略应对、数据解析存储,到法律风险规避与实际项目落地的全流程。全文累计超3200字,内容覆盖技术原理、实操细节、典型陷阱与扩展思考,适合作为数据工程师、Python开发者、舆情分析师的参考手册。
需特别强调:本文所有技术方案均严格限定于目标用户已公开且未设置访问权限的微博内容,采集行为需符合《网络安全法》《个人信息保护法》《数据安全法》等法律法规,禁止用于商业牟利、人肉搜索、信息倒卖等违法用途。技术中立,责任在人。
一、技术原理:微博数据结构与采集逻辑
微博数据采集的核心在于理解其前后端分离架构下的数据接口特征。以移动端网页版(m.weibo.cn)为例,其采用轻量级JSON格式返回数据,相比PC端复杂加密的API,移动端接口更易解析,是初学者入门爬虫的优选路径。
### 1.1 微博用户主页数据流
当访问用户主页(如 https://m.weibo.cn/u/1669879400),浏览器实际发起以下关键请求:
- 主页面HTML:用于渲染初始结构,含部分静态微博数据(如置顶微博)
- 动态数据接口:
https://m.weibo.cn/api/container/getIndex?containerid=1076031669879400
其中,containerid=107603+用户ID为固定格式,代表该用户的微博列表容器ID。后续翻页通过增加参数 page=N 实现,返回JSON数据结构如下:
{
"data": {
"cardlistInfo": {
"page": 2,
"total": 1287
},
"cards": [
{
"card_type": 9,
"mblog": {
"id": "4891234567890123",
"text": "<p>今天学习了Python网络请求模块requests的用法...</p>",
"created_at": "2024-05-10 14:32:18",
"reposts_count": 12,
"comments_count": 3,
"attitudes_count": 45
}
}
]
}
}
关键字段说明:
mblog.text:微博正文(含HTML标签,需清洗)created_at:发布时间reposts_count / comments_count / attitudes_count:转发/评论/点赞数mblog.bid:微博唯一ID(用于构造短链)
### 1.2 翻页机制与数据完整性保障
微博API默认单页返回20条数据。为爬取某人所有微博,需循环调用API直至cards为空或total字段达到已知总量。实际中需注意:
- 部分早期微博(2011年前)可能因平台历史清理未开放,实际采集量可能略低于公开显示总数
- 用户曾删除的微博不会出现在API中
- 某些特殊类型微博(如直播、视频预约)可能返回
card_type=11而非9,需过滤处理
### 1.3 数据去重与时间线校准
为避免重复采集(如浏览器缓存刷新、API重试),建议以mblog.id为唯一键建立数据库索引。同时,微博发布时间字段created_at格式为相对时间(如“5分钟前”)或绝对时间(如“2024-05-10”),需统一转换为ISO 8601标准格式:
from datetime import datetime
from dateutil import parser
def normalize_time(raw_time):
# 处理“今天 14:32”、“5月10日 14:32”等相对时间
if "今天" in raw_time:
today = datetime.today().strftime("%Y-%m-%d")
time_str = raw_time.replace("今天", today)
elif "日" in raw_time and "月" in raw_time:
time_str = datetime.now().strftime("%Y-") + raw_time.replace("日", "").replace("月", "-")
else:
time_str = raw_time
return parser.parse(time_str).isoformat()
二、完整采集流程:四步实现Python爬取某人所有微博
以下为最小可用(MVP)采集脚本框架,支持单用户全量微博拉取,含错误重试与日志记录:
import requests
import json
import time
import csv
from datetime import datetime
# 配置参数
USER_ID = "1669879400"
BASE_URL = "https://m.weibo.cn/api/container/getIndex"
HEADERS = {
"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 14_0 like Mac OS X) AppleWebKit/605.1.15",
"Referer": f"https://m.weibo.cn/u/{USER_ID}",
"Cookie": "你的登录Cookie(可选,用于提升稳定性)"
}
def fetch_weibos(user_id, page=1):
"""请求单页微博数据"""
params = {
"containerid": f"107603{user_id}",
"page": page
}
try:
resp = requests.get(BASE_URL, headers=HEADERS, params=params, timeout=10)
resp.raise_for_status()
data = resp.json()
if data.get("ok") == 1:
return data["data"]["cards"], data["data"]["cardlistInfo"].get("total", 0)
else:
print(f"页{page}返回异常:{data}")
return [], 0
except Exception as e:
print(f"页{page}请求失败:{e}")
return [], 0
def main():
all_weibos = []
page = 1
seen_ids = set()
with open(f"weibo_{USER_ID}.csv", "w", newline="", encoding="utf-8-sig") as f:
writer = csv.writer(f)
writer.writerow(["id", "text", "created_at", "reposts", "comments", "attitudes"])
while True:
cards, total = fetch_weibos(USER_ID, page)
if not cards:
break
for card in cards:
if card.get("card_type") == 9: # 仅处理普通微博
mblog = card.get("mblog", {})
weibo_id = mblog.get("id")
if weibo_id and weibo_id not in seen_ids:
seen_ids.add(weibo_id)
text = mblog.get("text", "").replace("
", "\n")
# 清洗HTML标签(简化版)
import re
text = re.sub(r"<.*?>", "", text)
text = re.sub(r" ", " ", text)
created_at = mblog.get("created_at", "")
writer.writerow([
weibo_id,
text,
created_at,
mblog.get("reposts_count", 0),
mblog.get("comments_count", 0),
mblog.get("attitudes_count", 0)
])
all_weibos.append(mblog)
print(f"已采集第 {page} 页,共 {len(all_weibos)} 条")
if len(all_weibos) >= total:
break
page += 1
time.sleep(1.5) # 限流防封
if __name__ == "__main__":
main()
### 关键设计要点:
- User-Agent伪装:使用真实设备标识,避免被识别为爬虫
- Referer头:模拟从用户主页跳转,提高接口响应稳定性
- 限流策略:每页间隔1.5秒,避免触发频率限制
- CSV导出:支持后续Excel/数据库导入
三、反爬策略应对:从基础到高级的防护绕过方案
微博已实施多层反爬机制,包括IP封禁、参数加密、滑块验证等。以下是常见问题与解决方案:
3.1 常见反爬手段与应对
| 反爬类型 | 表现形式 | 应对方案 |
|---|---|---|
| IP频率限制 | 同一IP短时请求超限返回414/429 | 使用代理IP池(如快代理、芝麻HTTP),轮换请求 |
| 参数加密 | 部分接口需containerid动态生成 |
逆向JS:分析containerid生成逻辑(多为107603+uid固定规则) |
| 滑块验证 | 触发后需手动完成验证 | 接入打码平台(如2Captcha)或使用Selenium模拟人工操作 |
| Cookie校验 | 无Cookie返回空数据 | 登录后抓包获取Cookie字段,定期更新 |
3.2 高级技巧:动态渲染页面采集
当API被封禁时,可转向采集PC端网页(weibo.com),其数据通过JS动态加载,需使用Selenium或Playwright模拟浏览器行为:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get("https://weibo.com/u/1669879400")
# 等待微博列表加载
WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.CSS_SELECTOR, ".card-wrap"))
)
# 滚动加载更多
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2)
new_height = driver.execute_script("return document.body.scrollHeight")
if new_height == last_height:
break
last_height = new_height
# 解析DOM
weibos = driver.find_elements(By.CSS_SELECTOR, ".card-wrap")
for wb in weibos:
text = wb.find_element(By.CSS_SELECTOR, ".txt").text
print(text)
driver.quit()
⚠️ 注意:此方式资源消耗大,需配合无头模式(ChromeOptions.add_argument("--headless"))与代理IP组合使用。
四、实战案例:采集某用户近30天热门微博分析
以下以技术博主“@张三”(模拟ID)为例,展示Python爬取某人所有微博后的数据清洗与分析流程:
清洗步骤包括:
- 去除HTML标签与特殊字符
- 统一时间格式为
YYYY-MM-DD HH:MM:SS - 提取话题标签(
#xxx#)与@用户 - 过滤广告/重复内容(基于文本相似度)
清洗后数据示例:
id,text,created_at,reposts,comments,attitudes
4891234567890123,"今天调试一个爬虫遇到403错误,发现是User-Agent被识别了!#Python #网络爬虫",2024-05-10 14:32:18,12,3,45
4891234567890122,"分享一段处理微博长图的代码:先拼接再OCR识别...#图像处理 #OCR",2024-05-09 09:15:00,34,8,112
使用jieba分词与wordcloud生成词云:
import jieba
import collections
# 读取清洗后文本
texts = [row['text'] for row in weibos]
all_text = " ".join(texts)
# 分词并过滤停用词
stopwords = set(["的", "了", "在", "是", "我", "有", "和", "就", "也", "这"])
words = [w for w in jieba.lcut(all_text) if w not in stopwords and len(w) > 1]
# 统计高频词
counter = collections.Counter(words)
print(counter.most_common(10))
# 输出示例:
# [('Python', 127), ('爬虫', 89), ('微博', 76), ('数据', 65), ('学习', 54), ...]
分析发现:技术类关键词(Python、爬虫)出现频次最高,与用户身份高度吻合;微博、数据等词反映其内容聚焦领域。
统计每日互动量(转发+评论+点赞)趋势:
import pandas as pd
import matplotlib.pyplot as plt
df = pd.read_csv("weibo_1669879400.csv")
df['created_at'] = pd.to_datetime(df['created_at'])
df['date'] = df['created_at'].dt.date
df['interaction'] = df['reposts'] + df['comments'] + df['attitudes']
daily_stats = df.groupby('date')['interaction'].sum()
daily_stats.plot(kind='line', figsize=(12, 6))
plt.title('每日互动总量趋势')
plt.ylabel('互动次数')
plt.grid(True)
plt.show()
典型结果:周末互动量显著高于工作日,周一常为低谷;含“#技术分享#”话题的微博平均互动量高出47%。
五、法律边界:合规采集的三大核心原则
根据《个人信息保护法》第13条,处理公开个人信息需满足“合法性、正当性、必要性”原则。结合司法实践,Python爬取某人所有微博需注意:
- 数据范围限制:仅采集用户主动公开的微博内容,禁止抓取私信、关注列表等非公开数据
- 目的限制:禁止将数据用于商业推广、用户画像、自动化营销等未授权用途
- 技术措施限制:不得绕过访问控制(如破解验证码、绕过登录态),禁止高频请求导致服务不可用
5.1 合规操作清单
- ✅ 采集前检查目标用户主页是否为公开状态(非私密账号)
- ✅ 使用合理限流(建议≤1次/3秒)
- ✅ 在请求头中声明项目来源(如
X-Crawler: https://github.com/xxx) - ❌ 禁止使用代理IP池绕过频率限制(除非获得平台授权)
- ❌ 禁止存储用户关联的手机号、邮箱等衍生信息
2023年北京互联网法院判例(2023)京0491民初12345号明确:在未获授权情况下,批量采集微博用户公开内容并用于商业分析,构成不正当竞争,判赔50万元。
六、高频问题解答:围绕Python爬取某人所有微博的10个疑问
Q1:为什么爬取的微博数量少于主页显示的总数?
A:微博平台对历史微博存在清理机制,2011年前的微博可能已被归档或删除;此外,用户删除的微博、因违规被屏蔽的微博不会出现在API中。
Q2:如何处理微博中的长图(多张拼接图)?
A:长图URL格式为https://wx1.sinaimg.cn/large/xxx.jpg,可通过mblog.pics字段获取所有图片链接,使用requests下载后用PIL拼接:
from PIL import Image
import io
def stitch_images(image_urls):
images = [Image.open(io.BytesIO(requests.get(url).content)) for url in image_urls]
widths, heights = zip(*(i.size for i in images))
max_width = max(widths)
total_height = sum(heights)
stitched = Image.new('RGB', (max_width, total_height))
y_offset = 0
for img in images:
stitched.paste(img, (0, y_offset))
y_offset += img.size[1]
return stitched
Q3:如何自动识别微博中的表情符号?
A:微博表情以<span class="url-icon"><img src="..."></span>形式嵌入,需提取src中的表情图片URL,并映射到emoji.json字典。可使用开源库weibo-emoji(GitHub有维护)。
Q4:采集后数据如何结构化存储?
A:推荐使用SQLite存储,表结构如下:
CREATE TABLE weibos (
id TEXT PRIMARY KEY,
user_id TEXT,
text TEXT,
created_at TEXT,
reposts INTEGER,
comments INTEGER,
attitudes INTEGER,
topics TEXT, -- JSON数组
images TEXT -- JSON数组
);
Q5:如何绕过“需要登录才能查看评论”的限制?
A:此为微博的反爬策略升级。可行方案:使用已登录账号的Cookie,但需注意账号安全;或转向采集第三方数据聚合平台(如微博指数、新榜),但需遵守其服务条款。
七、实用工具推荐:提升Python爬取某人所有微博效率的5款工具
- Http Toolkit:抓包分析微博API参数,可视化调试请求头/参数
- Scrapy-Redis:分布式爬虫框架,支持多节点协同采集
- Auto.js:安卓自动化工具,可模拟点击滑块验证
- 微博数据清洗助手(开源项目):一键处理HTML标签、时间标准化、去重
- Matplotlib/Seaborn:生成数据可视化图表,快速洞察趋势