Python爬虫淘宝和天猫|数据采集全流程实战指南
在数字经济蓬勃发展的今天,淘宝与天猫作为中国最大的电商平台,日均产生超亿级商品、评论、店铺运营及用户行为数据。这些数据对市场分析、竞品监控、舆情预警、供应链优化等场景具有极高价值。然而,随着平台反爬策略持续升级,传统简单请求方式已难以稳定获取目标数据。
本页面系统梳理Python爬虫淘宝和天猫的完整技术链路,覆盖从基础环境搭建、请求伪造、动态渲染、登录模拟、数据解析到清洗入库、合规边界等核心环节。全篇基于真实项目经验,结合requests+BeautifulSoup、Selenium+Playwright、Scrapy框架及自研中间件方案,提供可落地、可复用、可扩展的解决方案。
与通用爬虫不同,淘宝爬虫和天猫爬虫需应对多重动态防护机制:包括但不限于AES加密参数(_m_h5_tk、_samesite_flag)、动态JS生成签名(_n_)、设备指纹校验、行为轨迹验证(如鼠标移动路径、滚动深度)、滑块验证、人机验证(点选、点文字)、IP代理池动态调度等。本文将逐层拆解其对抗逻辑,提供应对路径与代码示例。
一、平台生态与数据价值全景分析
截至2024年,淘宝与天猫合计活跃商家超2000万,日均活跃用户超3亿,年交易额突破8万亿元。其数据体系可分为四大层级:
1. 基础商品层
- 商品标题、SKU编码、价格(划线价/促销价)、库存、销量(累计/月销)、评价总数及好评率
- 类目路径(如:手机/手机通讯/手机 > 智能手机)、品牌、店铺等级(C店/天猫旗舰店/专营店)
- 关键字段:商品ID(num_iid)、店铺ID(seller_id)、是否包邮、是否正品险
2. 用户行为层
- 评价内容(含图片/视频)、追评、晒单、评分(描述相符/服务态度/物流服务)
- 收藏/加购行为、浏览路径、搜索关键词、跳出率(需模拟真实用户行为链)
- 隐藏字段:评价时间戳(含时区)、IP归属地、设备型号(Android/iOS/PC)
3. 店铺运营层
- DSR评分(动态更新)、店铺综合评分(描述相符、服务态度、物流服务)
- 客服响应时长、发货时效、退货率、纠纷率、售中售后退款率
- 营销工具使用:淘金币、88vip专属价、跨店满减、店铺券、会员等级权益
4. 行业宏观层
- 类目热词榜、飙升榜、搜索指数(需通过生意参谋API或第三方聚合)
- 大促节点数据(双11/618/年货节):预售期、付定金、付尾款、现货销售曲线
- 竞品对比:同品类TOP100商品价格带分布、折扣力度、SKU数量、主图风格聚类
值得注意的是,淘宝爬虫和天猫爬虫采集目标需严格区分:淘宝(C2C为主,店铺分散、规则灵活)与天猫(B2C为主,品牌旗舰店、数据结构统一但防护更强)。二者API路径差异显著:
- 淘宝:商品详情页URL形如
https://item.taobao.com/item.htm?id=678901234567,依赖前端JS动态渲染,核心数据藏于__INITIAL_STATE__或__INITIAL_DATA__全局变量 - 天猫:URL形如
https://detail.tmall.com/item.htm?id=678901234567,数据由https://detail.tmall.com/item.htm?...&_t=xxx的JSONP接口返回,含加密字段
cookie2、_l_g_等),且请求头需模拟真实浏览器UA(如Chrome 120+),否则返回403或跳转登录页。
二、核心技术栈与实现路径
1. 请求伪造与Headers构造
基础Headers需包含:User-Agent、Referer、Accept-Language、Accept-Encoding、Connection。但仅此不足以绕过基础拦截。高阶方案需:
- 动态生成
sec-ch-ua系列Header(模拟真实浏览器指纹) - 添加
DNT(Do Not Track)为1,模拟隐私模式 - 使用
Sec-Fetch-Site: same-origin、Sec-Fetch-Mode: navigate等现代浏览器字段
示例:完整Headers模板(Python requests)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
'Accept-Encoding': 'gzip, deflate, br',
'Connection': 'keep-alive',
'Referer': 'https://www.taobao.com/',
'Sec-Fetch-Dest': 'document',
'Sec-Fetch-Mode': 'navigate',
'Sec-Fetch-Site': 'cross-site',
'DNT': '1',
'Upgrade-Insecure-Requests': '1',
'sec-ch-ua': '"Not_A Brand";v="8", "Chromium";v="120"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"'
}
2. 登录态模拟与Cookie管理
登录是采集淘宝/天猫数据的关键前置步骤。常见方案:
- 扫码登录模拟:通过
https://login.taobao.com/member/login.jhtml获取二维码,轮询状态,获取cookie2、_l_g_、enc等关键Cookie - 账号密码登录:需先请求
https://login.taobao.com/jump获取token,再POST加密后的用户名密码(RSA+AES双重加密) - 第三方登录:支付宝/微博授权,但Cookie有效期短(通常2小时),需动态刷新
推荐使用Playwright自动化登录,可处理滑块验证与人机检测:
Playwright登录核心逻辑(Python)
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=False)
context = browser.new_context()
page = context.new_page()
page.goto('https://login.taobao.com')
# 扫码登录后等待登录成功
page.wait_for_selector('.site-nav-login-info-nick', timeout=30000)
cookies = context.cookies()
# 保存Cookie供后续请求使用
with open('cookies.json', 'w') as f:
json.dump(cookies, f)
3. 动态页面渲染方案
因淘宝/天猫采用SPA(单页应用)架构,页面内容由JS异步加载,requests无法直接获取DOM。解决方案:
- Selenium:兼容性好,支持PhantomJS(已废弃)、Chrome Headless,但性能较低(1个页面约2~4秒)
- Playwright:微软开源,支持多浏览器、自动等待、网络拦截,性能比Selenium高30%~50%
- Pyppeteer:基于Node.js Puppeteer的Python实现,需Node环境,部署复杂
- 直接逆向API:通过抓包工具(Fiddler/Charles)定位真实数据接口,绕过渲染层(最高效但反爬最严)
经实测,在高防IP下,Playwright + 动态代理方案可稳定采集天猫商品详情页,成功率超92%。
三、反爬策略深度对抗指南
1. 签名参数破解(_m_h5_tk与_n_)
淘宝/天猫在H5请求中强制携带签名字段:
_m_h5_tk:格式为token_1709823456789,由cookie2与时间戳拼接后MD5生成前12位_n_:由请求路径、时间戳、随机数、签名密钥(固定值)通过SHA256生成
签名计算逻辑(Python)
def gen_m_h5_tk(cookie2):
token = 'xxx' # 固定密钥,需逆向获取
ts = str(int(time.time() * 1000))
sign = hashlib.md5((token + '_' + cookie2 + '_' + ts).encode()).hexdigest()[:12]
return sign + '_' + ts
def gen_n(path, ts, random_str):
secret = 'xxx' # 另一固定密钥
raw = f'{path}&{ts}&{random_str}&{secret}'
return hashlib.sha256(raw.encode()).hexdigest()
注意:密钥xxx需通过逆向JS代码获取,通常藏于h5t.js或mtop.js中。可使用AST工具提取加密函数并复现逻辑。
2. 设备指纹与行为轨迹校验
天猫会通过navigator.userAgent、screen.width/height、plugins、canvas渲染特征生成设备指纹,并结合用户行为(鼠标移动、滚动速度、点击间隔)判断是否为真人。
应对策略:
- 动态UA池:维护100+真实设备UA,按请求轮换
- Canvas指纹伪造:注入
canvas-fingerprint-blocker脚本 - 模拟行为链:在页面停留3~8秒,模拟滚动深度(0~800px),随机点击元素
- 延迟注入:避免在打开页面后立即执行脚本,增加随机延迟(1~5秒)
3. 滑块验证与点选验证应对
当请求频率过高或IP异常时,平台会触发滑块或点选验证。常见类型:
- 拼图滑块:需匹配背景图与滑块缺口位置,推荐使用
OpenCV模板匹配(cv2.matchTemplate) - 文字点选:如“请点出图中的面包”,需OCR识别+坐标计算
- 行为滑块:需模拟鼠标移动轨迹(贝塞尔曲线),并带加速度变化
滑块轨迹生成(Python)
def generate_track(distance):
track = []
current = 0
mid = distance * 0.75
t = 0.2
v = 0
while current < distance:
if current < mid:
a = 0.8
else:
a = -1.2
v0 = v
v = v0 + a * t
move = v0 * t + 0.5 * a * t * t
current += move
track.append(round(move, 2))
return track
四、实战案例:采集天猫手机类目TOP100商品
1. 需求拆解
- 目标类目:手机 > 智能手机
- 数据字段:商品ID、标题、价格、销量、店铺名、店铺等级、DSR评分、上架时间
- 采集量级:100页(每页48条),共4800条商品
- 性能要求:总耗时≤120分钟(含登录、反爬对抗、数据清洗)
2. 实施步骤
- 登录态初始化:使用Playwright扫码登录,保存Cookie至本地JSON
- API路径定位:通过F12 Network面板,定位到
https://list.tmall.com/search_product.htm?cat=50025035的XHR请求,实际数据来自https://list.tmall.com/search_product.htm?cat=50025035&page=1&sort=d的JSONP响应 - 签名参数注入:动态计算
_m_h5_tk与_n_并拼接到URL参数 - 分页采集:循环页码,每页请求间隔2~5秒随机(防阈值触发)
- 数据清洗:提取
data字段中的title、view_price、view_sales,处理特殊字符(如 )
3. 核心代码片段
import requests
import json
import time
import hashlib
from datetime import datetime
def get_cookies():
with open('cookies.json', 'r') as f:
cookies_list = json.load(f)
return {c['name']: c['value'] for c in cookies_list}
def gen_m_h5_tk(cookie2):
token = '1234567890abcdef' # 实际需逆向获取
ts = str(int(time.time() * 1000))
sign = hashlib.md5((token + '_' + cookie2 + '_' + ts).encode()).hexdigest()[:12]
return sign + '_' + ts
def fetch_tmall_list(page):
url = 'https://list.tmall.com/search_product.htm'
cookie2 = get_cookies().get('cookie2', '')
tk = gen_m_h5_tk(cookie2)
params = {
'cat': '50025035',
'page': page,
'sort': 'd',
'_input_charset': 'utf-8',
'wlsort': '1',
'_m_h5_tk': tk,
'_m_h5_tk_enc': '', # 可忽略
'_n_': hashlib.sha256(f'/search_product.htm?cat=50025035&page={page}&sort=d&{tk}'.encode()).hexdigest()
}
headers = {
'User-Agent': 'Mozilla/5.0 ...',
'Referer': 'https://list.tmall.com/search_product.htm?cat=50025035',
'Cookie': '; '.join([f'{k}={v}' for k,v in get_cookies().items()])
}
resp = requests.get(url, params=params, headers=headers)
data = json.loads(resp.text[13:-1]) # 去除JSONP包裹
return data.get('items', [])
4. 数据输出示例
| 商品ID | 标题 | 价格 | 销量 | 店铺名 | 店铺等级 | DSR评分 | 采集时间 |
|---|---|---|---|---|---|---|---|
| 678901234567 | Apple iPhone 15 Pro (A3105) 256GB 深空黑色 | ¥7999.00 | 1.2万+ | Apple官方旗舰店 | 天猫旗舰店 | 4.8分 | 2024-03-10 14:22:35 |
| 689012345678 | 华为 Mate60 Pro 5G手机 麒麟9000S芯片 12GB+512GB | ¥6299.00 | 8900+ | 华为官方旗舰店 | 天猫旗舰店 | 4.7分 | 2024-03-10 14:23:01 |
五、法律风险与合规边界解析
根据《中华人民共和国网络安全法》第27条及《数据安全法》第32条,任何个人和组织不得从事危害网络安全的活动,不得提供专门用于从事侵入网络、干扰网络正常功能及其防护措施的程序或工具。
1. 合规采集原则
- robots.txt:必须检查目标站点的
/robots.txt,禁止爬取Disallow路径 - 频率限制:单IP每分钟请求≤10次,避免对服务器造成压力
- 数据用途:仅用于个人学习、科学研究,不得用于商业盈利或倒卖
- 数据范围:仅采集公开数据,不得突破登录态或绕过技术保护措施
2. 高风险行为清单
- 绕过登录验证(破解密码、利用漏洞)
- 高频请求导致服务不可用(DDoS攻击嫌疑)
- 采集用户隐私数据(手机号、地址、订单号)
- 将采集数据用于竞品监控并牟利
- 使用爬虫模拟真实用户行为(可能违反《反不正当竞争法》)
因此,Python爬虫淘宝和天猫项目必须坚持“最小必要”原则:仅采集公开、非敏感、非个人数据,并建立日志审计机制,确保可追溯、可验证。
六、开发工具链推荐
1. 调试与逆向
- Fiddler/Charles:抓包分析请求参数、Cookie、加密字段
- DevTools:Network面板定位XHR请求,Elements面板查找JS加密函数
- AST Explorer:在线解析混淆JS,提取加密逻辑
- Chrome扩展:如
Requestly(修改请求头)、Stealthy(隐藏自动化特征)
2. 框架与库
- Scrapy:分布式爬虫首选,配合
scrapy-redis实现集群 - Playwright:现代自动化方案,支持网络拦截、文件下载、移动端模拟
- Pyppeteer:需Node.js环境,适合复杂JS执行场景
- BeautifulSoup + lxml:静态页面解析,性能高(比
html.parser快10倍)
3. 数据存储
- MySQL:结构化数据,适合商品、店铺等稳定字段
- MongoDB:非结构化数据(如评价内容、JSON原始响应)
- Elasticsearch:全文检索场景(评论关键词搜索)
- Redis:去重队列、IP代理池、登录态缓存
七、高频问题解答(FAQ)
Q1:为什么爬虫返回403?
A:常见原因:① User-Agent被识别为爬虫;② 缺少必要Cookie;③ 请求频率过高触发阈值;④ IP被封禁。建议:① 使用真实设备UA;② 维护登录态;③ 降低频率;④ 切换代理IP。
Q2:如何处理滑块验证?
A:推荐方案:OpenCV模板匹配+轨迹模拟。步骤:① 截取背景图与滑块图;② 计算缺口位置;③ 生成贝塞尔曲线轨迹;④ 模拟鼠标按下、移动、释放。注意:部分新版滑块需模拟“加速-减速”过程,否则易失败。
Q3:数据量大时如何提升效率?
A:① 使用asyncio或gevent实现并发;② 采用Scrapy框架的异步下载;③ 分布式部署(多机器+代理IP池);④ 仅采集必要字段(减少解析开销)。但需注意:并发过高易触发反爬,建议控制在每秒≤3请求。
Q4:如何判断数据是否被反爬拦截?
A:观察特征:① 返回页面含“请开启JavaScript”提示;② 响应为JSON格式但无数据;③ 请求超时或返回空内容;④ Cookie中包含_m_h5_tk错误提示。解决方案:检查Headers完整性、重试机制、升级Playwright模拟度。
八、网友们还关心……
1. 淘宝与京东爬虫技术差异
京东防护较弱,API接口更开放,item.jd.com商品页含明文JSON数据,无需复杂签名。但需注意:京东对Referer和User-Agent校验严格,且评论接口需登录态。
2. 拼多多爬虫特殊性
拼多多采用“动态加密+服务端渲染”模式,关键数据藏于__INITIAL_STATE__中的Base64编码字段,需先解密再解析。其反爬更激进:同一IP连续请求3次即触发滑块验证。
3. 抖音电商数据采集
抖音电商数据分散在短视频、直播间、商品页三处,且加密强度最高。商品详情页数据由aweme/v1/web/item/detail接口返回,参数含X-Bogus(由X-Tt-Logid、Device-ID、时间戳生成),需逆向JS算法。
4. 拼多多“砍价”数据价值
砍价活动页面含用户邀请链接,可反向推导用户社交关系链。采集时需注意:share_id参数为动态生成,含用户ID哈希,建议结合user_agent与ip做行为关联分析。
5. 淘宝直播数据采集
直播数据包括主播信息、商品链接、在线人数、点赞数、成交额。核心接口:https://h5api.m.taobao.com/h5/mtop.taobao.live.getlivelist/1.0/,需ua参数加密(AES+时间戳),且频繁变化。
6. 天猫“88vip”专属价采集
专属价仅对88vip用户可见,需模拟高权重账号登录。通过Cookie注入aliyungf_tc、thw等字段可绕过部分校验,但无法获取实时价格(需实时请求)。
7. 淘宝“逛逛”内容爬取
逛逛内容含图文/短视频,数据结构复杂。每条内容含content(富文本)、pics(图片数组)、videoUrl。注意:图片URL带签名参数(x-oss-process),需及时获取最新Token。
8. 淘宝“问大家”问题采集
“问大家”数据对分析用户痛点极有价值。接口:https://rate.taobao.com/rate.htm,需商品ID与页码。但问题内容含HTML标签,需清洗(如<img src=...>转为文本描述)。
9. 淘宝“收藏夹”数据价值
收藏夹反映用户兴趣偏好。通过https://cart.taobao.com/cart.htm可获取收藏商品列表,但需登录态。注意:频繁请求会触发“收藏失败”提示,建议间隔≥10秒。
10. 淘宝“搜索下拉词”采集
搜索建议词(如输入“手机”→“手机壳”“手机支架”)含商业价值。接口:https://suggest.taobao.com/sug?code=utf-8&q=手机,返回JSON格式。但需注意:高频请求会被限流(每分钟≤20次)。
11. 淘宝“评价晒图”图片下载
晒图URL形如https://img.alicdn.com/imgextra/xxx.jpg,但带防盗链。解决方案:① 在Headers中添加Referer为https://detail.tmall.com;② 使用代理IP池避免IP被封。
12. 淘宝“店铺动态评分”(DSR)变化监控
DSR分三项:描述相符、服务态度、物流服务。需持续监控TOP100店铺,分析波动原因(如大促后DSR下降)。建议:每2小时采集一次,对比历史数据,设置阈值告警。
13. 淘宝“优惠券”领取逻辑
店铺券领取接口:https://shopsearch.taobao.com/search?...,需couponId参数。但接口有次数限制(每人限领1张),且需登录态。建议:使用Cookie池轮换领取。
14. 淘宝“直播回放”视频下载
直播回放视频URL需从liveRoomInfo中提取playUrl字段。但URL含时效Token(1小时失效),需实时解析。推荐:在直播开始时立即录制,避免回放延迟。
15. 淘宝“淘宝联盟”返利数据
淘宝联盟返回URL含union_id、source参数,用于追踪推广效果。采集时需模拟真实跳转(302重定向),否则返利失效。
16. 淘宝“淘金币”任务数据
淘金币任务含“签到”“浏览商品”“分享”等,需模拟真实操作(如浏览停留≥15秒)。注意:频繁操作会触发“任务失败”,建议间隔≥30分钟。
17. 淘宝“88VIP”专属活动
88VIP活动页面需高权重账号访问,普通账号仅显示“活动已结束”。通过Cookie注入aliyun_country、aliyun_zone可模拟VIP环境,但无法获取实时权益。
18. 淘宝“问大家”自动回复生成
基于历史问答数据,可用NLP模型(如BERT)生成回复建议。但需注意:自动回复可能被平台识别为机器行为,导致账号降权。
19. 淘宝“评价标签”提取
评价标签(如“质量好”“发货快”)藏于tags字段。需解析HTML中的<span class="tag">节点,提取文本内容。注意:部分标签为图片,需OCR识别。
20. 淘宝“搜索人气”数据
搜索人气反映关键词热度,但仅对商家开放。可通过第三方工具(如“蝉妈妈”)聚合数据,或采集同类商品销量波动反推热度趋势。
附:核心技术栈速查表
| 功能 | 推荐工具 | 关键参数 | 注意事项 |
|---|---|---|---|
| 基础请求 | requests | headers, cookies, proxies | 必须设置Referer与User-Agent |
| 动态渲染 | Playwright | headless=False, viewport | 需模拟真实鼠标行为 |
| 登录模拟 | Selenium + OCR | 等待元素、滑块坐标 | 滑块轨迹需贝塞尔曲线 |
| 数据解析 | BeautifulSoup | lxml, css selector | 注意HTML实体编码 |
| 分布式部署 | Scrapy + Redis | DUPFILTER_CLASS, SCHEDULER | 需自定义去重逻辑 |
| 数据存储 | MongoDB + MySQL | bulk_write, on_duplicate_key_update | 定期备份,防数据丢失 |