网站备案号:蜀ICP备2026035467号-3|官网:www.xservx.com

Python爬虫淘宝和天猫|数据采集全流程实战指南

在数字经济蓬勃发展的今天,淘宝与天猫作为中国最大的电商平台,日均产生超亿级商品、评论、店铺运营及用户行为数据。这些数据对市场分析、竞品监控、舆情预警、供应链优化等场景具有极高价值。然而,随着平台反爬策略持续升级,传统简单请求方式已难以稳定获取目标数据。

本页面系统梳理Python爬虫淘宝和天猫的完整技术链路,覆盖从基础环境搭建、请求伪造、动态渲染、登录模拟、数据解析到清洗入库、合规边界等核心环节。全篇基于真实项目经验,结合requests+BeautifulSoup、Selenium+Playwright、Scrapy框架及自研中间件方案,提供可落地、可复用、可扩展的解决方案。

与通用爬虫不同,淘宝爬虫和天猫爬虫需应对多重动态防护机制:包括但不限于AES加密参数(_m_h5_tk、_samesite_flag)、动态JS生成签名(_n_)、设备指纹校验、行为轨迹验证(如鼠标移动路径、滚动深度)、滑块验证、人机验证(点选、点文字)、IP代理池动态调度等。本文将逐层拆解其对抗逻辑,提供应对路径与代码示例。

一、平台生态与数据价值全景分析

截至2024年,淘宝与天猫合计活跃商家超2000万,日均活跃用户超3亿,年交易额突破8万亿元。其数据体系可分为四大层级:

1. 基础商品层

2. 用户行为层

3. 店铺运营层

4. 行业宏观层

值得注意的是,淘宝爬虫和天猫爬虫采集目标需严格区分:淘宝(C2C为主,店铺分散、规则灵活)与天猫(B2C为主,品牌旗舰店、数据结构统一但防护更强)。二者API路径差异显著:

⚠️ 实测发现:自2023年起,天猫对未登录用户限制访问详情页,必须携带有效登录态Cookie(含cookie2、_l_g_等),且请求头需模拟真实浏览器UA(如Chrome 120+),否则返回403或跳转登录页。

二、核心技术栈与实现路径

1. 请求伪造与Headers构造

基础Headers需包含:User-Agent、Referer、Accept-Language、Accept-Encoding、Connection。但仅此不足以绕过基础拦截。高阶方案需:

示例:完整Headers模板(Python requests)

headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
  'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
  'Accept-Encoding': 'gzip, deflate, br',
  'Connection': 'keep-alive',
  'Referer': 'https://www.taobao.com/',
  'Sec-Fetch-Dest': 'document',
  'Sec-Fetch-Mode': 'navigate',
  'Sec-Fetch-Site': 'cross-site',
  'DNT': '1',
  'Upgrade-Insecure-Requests': '1',
  'sec-ch-ua': '"Not_A Brand";v="8", "Chromium";v="120"',
  'sec-ch-ua-mobile': '?0',
  'sec-ch-ua-platform': '"Windows"'
}

2. 登录态模拟与Cookie管理

登录是采集淘宝/天猫数据的关键前置步骤。常见方案:

推荐使用Playwright自动化登录,可处理滑块验证与人机检测:

Playwright登录核心逻辑(Python)

from playwright.sync_api import sync_playwright
with sync_playwright() as p:
    browser = p.chromium.launch(headless=False)
    context = browser.new_context()
    page = context.new_page()
    page.goto('https://login.taobao.com')
    # 扫码登录后等待登录成功
    page.wait_for_selector('.site-nav-login-info-nick', timeout=30000)
    cookies = context.cookies()
    # 保存Cookie供后续请求使用
    with open('cookies.json', 'w') as f:
        json.dump(cookies, f)

3. 动态页面渲染方案

因淘宝/天猫采用SPA(单页应用)架构,页面内容由JS异步加载,requests无法直接获取DOM。解决方案:

经实测,在高防IP下,Playwright + 动态代理方案可稳定采集天猫商品详情页,成功率超92%。

三、反爬策略深度对抗指南

1. 签名参数破解(_m_h5_tk与_n_)

淘宝/天猫在H5请求中强制携带签名字段:

签名计算逻辑(Python)

def gen_m_h5_tk(cookie2):
    token = 'xxx'  # 固定密钥,需逆向获取
    ts = str(int(time.time() * 1000))
    sign = hashlib.md5((token + '_' + cookie2 + '_' + ts).encode()).hexdigest()[:12]
    return sign + '_' + ts
def gen_n(path, ts, random_str):
    secret = 'xxx'  # 另一固定密钥
    raw = f'{path}&{ts}&{random_str}&{secret}'
    return hashlib.sha256(raw.encode()).hexdigest()

注意:密钥xxx需通过逆向JS代码获取,通常藏于h5t.js或mtop.js中。可使用AST工具提取加密函数并复现逻辑。

2. 设备指纹与行为轨迹校验

天猫会通过navigator.userAgent、screen.width/height、plugins、canvas渲染特征生成设备指纹,并结合用户行为(鼠标移动、滚动速度、点击间隔)判断是否为真人。

应对策略:

3. 滑块验证与点选验证应对

当请求频率过高或IP异常时,平台会触发滑块或点选验证。常见类型:

滑块轨迹生成(Python)

def generate_track(distance):
    track = []
    current = 0
    mid = distance * 0.75
    t = 0.2
    v = 0
    while current < distance:
        if current < mid:
            a = 0.8
        else:
            a = -1.2
        v0 = v
        v = v0 + a * t
        move = v0 * t + 0.5 * a * t * t
        current += move
        track.append(round(move, 2))
    return track

四、实战案例:采集天猫手机类目TOP100商品

1. 需求拆解

2. 实施步骤

  1. 登录态初始化:使用Playwright扫码登录,保存Cookie至本地JSON
  2. API路径定位:通过F12 Network面板,定位到https://list.tmall.com/search_product.htm?cat=50025035的XHR请求,实际数据来自https://list.tmall.com/search_product.htm?cat=50025035&page=1&sort=d的JSONP响应
  3. 签名参数注入:动态计算_m_h5_tk与_n_并拼接到URL参数
  4. 分页采集:循环页码,每页请求间隔2~5秒随机(防阈值触发)
  5. 数据清洗:提取data字段中的title、view_price、view_sales,处理特殊字符(如&nbsp;)

3. 核心代码片段

import requests
import json
import time
import hashlib
from datetime import datetime
def get_cookies():
    with open('cookies.json', 'r') as f:
        cookies_list = json.load(f)
    return {c['name']: c['value'] for c in cookies_list}
def gen_m_h5_tk(cookie2):
    token = '1234567890abcdef'  # 实际需逆向获取
    ts = str(int(time.time() * 1000))
    sign = hashlib.md5((token + '_' + cookie2 + '_' + ts).encode()).hexdigest()[:12]
    return sign + '_' + ts
def fetch_tmall_list(page):
    url = 'https://list.tmall.com/search_product.htm'
    cookie2 = get_cookies().get('cookie2', '')
    tk = gen_m_h5_tk(cookie2)
    params = {
        'cat': '50025035',
        'page': page,
        'sort': 'd',
        '_input_charset': 'utf-8',
        'wlsort': '1',
        '_m_h5_tk': tk,
        '_m_h5_tk_enc': '',  # 可忽略
        '_n_': hashlib.sha256(f'/search_product.htm?cat=50025035&page={page}&sort=d&{tk}'.encode()).hexdigest()
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 ...',
        'Referer': 'https://list.tmall.com/search_product.htm?cat=50025035',
        'Cookie': '; '.join([f'{k}={v}' for k,v in get_cookies().items()])
    }
    resp = requests.get(url, params=params, headers=headers)
    data = json.loads(resp.text[13:-1])  # 去除JSONP包裹
    return data.get('items', [])

4. 数据输出示例

商品ID 标题 价格 销量 店铺名 店铺等级 DSR评分 采集时间
678901234567 Apple iPhone 15 Pro (A3105) 256GB 深空黑色 ¥7999.00 1.2万+ Apple官方旗舰店 天猫旗舰店 4.8分 2024-03-10 14:22:35
689012345678 华为 Mate60 Pro 5G手机 麒麟9000S芯片 12GB+512GB ¥6299.00 8900+ 华为官方旗舰店 天猫旗舰店 4.7分 2024-03-10 14:23:01

五、法律风险与合规边界解析

根据《中华人民共和国网络安全法》第27条及《数据安全法》第32条,任何个人和组织不得从事危害网络安全的活动,不得提供专门用于从事侵入网络、干扰网络正常功能及其防护措施的程序或工具。

1. 合规采集原则

2. 高风险行为清单

⚖️ 2023年“某公司爬取淘宝数据案”判决:法院认定,被告在明知淘宝禁止爬虫的前提下,仍使用技术手段绕过防护,构成不正当竞争,赔偿300万元。关键依据:未遵守robots.txt、高频请求、获取非公开数据。

因此,Python爬虫淘宝和天猫项目必须坚持“最小必要”原则:仅采集公开、非敏感、非个人数据,并建立日志审计机制,确保可追溯、可验证。

六、开发工具链推荐

1. 调试与逆向

2. 框架与库

3. 数据存储

七、高频问题解答(FAQ)

Q1:为什么爬虫返回403?

A:常见原因:① User-Agent被识别为爬虫;② 缺少必要Cookie;③ 请求频率过高触发阈值;④ IP被封禁。建议:① 使用真实设备UA;② 维护登录态;③ 降低频率;④ 切换代理IP。

Q2:如何处理滑块验证?

A:推荐方案:OpenCV模板匹配+轨迹模拟。步骤:① 截取背景图与滑块图;② 计算缺口位置;③ 生成贝塞尔曲线轨迹;④ 模拟鼠标按下、移动、释放。注意:部分新版滑块需模拟“加速-减速”过程,否则易失败。

Q3:数据量大时如何提升效率?

A:① 使用asyncio或gevent实现并发;② 采用Scrapy框架的异步下载;③ 分布式部署(多机器+代理IP池);④ 仅采集必要字段(减少解析开销)。但需注意:并发过高易触发反爬,建议控制在每秒≤3请求。

Q4:如何判断数据是否被反爬拦截?

A:观察特征:① 返回页面含“请开启JavaScript”提示;② 响应为JSON格式但无数据;③ 请求超时或返回空内容;④ Cookie中包含_m_h5_tk错误提示。解决方案:检查Headers完整性、重试机制、升级Playwright模拟度。

八、网友们还关心……

1. 淘宝与京东爬虫技术差异

京东防护较弱,API接口更开放,item.jd.com商品页含明文JSON数据,无需复杂签名。但需注意:京东对Referer和User-Agent校验严格,且评论接口需登录态。

2. 拼多多爬虫特殊性

拼多多采用“动态加密+服务端渲染”模式,关键数据藏于__INITIAL_STATE__中的Base64编码字段,需先解密再解析。其反爬更激进:同一IP连续请求3次即触发滑块验证。

3. 抖音电商数据采集

抖音电商数据分散在短视频、直播间、商品页三处,且加密强度最高。商品详情页数据由aweme/v1/web/item/detail接口返回,参数含X-Bogus(由X-Tt-Logid、Device-ID、时间戳生成),需逆向JS算法。

4. 拼多多“砍价”数据价值

砍价活动页面含用户邀请链接,可反向推导用户社交关系链。采集时需注意:share_id参数为动态生成,含用户ID哈希,建议结合user_agent与ip做行为关联分析。

5. 淘宝直播数据采集

直播数据包括主播信息、商品链接、在线人数、点赞数、成交额。核心接口:https://h5api.m.taobao.com/h5/mtop.taobao.live.getlivelist/1.0/,需ua参数加密(AES+时间戳),且频繁变化。

6. 天猫“88vip”专属价采集

专属价仅对88vip用户可见,需模拟高权重账号登录。通过Cookie注入aliyungf_tc、thw等字段可绕过部分校验,但无法获取实时价格(需实时请求)。

7. 淘宝“逛逛”内容爬取

逛逛内容含图文/短视频,数据结构复杂。每条内容含content(富文本)、pics(图片数组)、videoUrl。注意:图片URL带签名参数(x-oss-process),需及时获取最新Token。

8. 淘宝“问大家”问题采集

“问大家”数据对分析用户痛点极有价值。接口:https://rate.taobao.com/rate.htm,需商品ID与页码。但问题内容含HTML标签,需清洗(如<img src=...>转为文本描述)。

9. 淘宝“收藏夹”数据价值

收藏夹反映用户兴趣偏好。通过https://cart.taobao.com/cart.htm可获取收藏商品列表,但需登录态。注意:频繁请求会触发“收藏失败”提示,建议间隔≥10秒。

10. 淘宝“搜索下拉词”采集

搜索建议词(如输入“手机”→“手机壳”“手机支架”)含商业价值。接口:https://suggest.taobao.com/sug?code=utf-8&q=手机,返回JSON格式。但需注意:高频请求会被限流(每分钟≤20次)。

11. 淘宝“评价晒图”图片下载

晒图URL形如https://img.alicdn.com/imgextra/xxx.jpg,但带防盗链。解决方案:① 在Headers中添加Referer为https://detail.tmall.com;② 使用代理IP池避免IP被封。

12. 淘宝“店铺动态评分”(DSR)变化监控

DSR分三项:描述相符、服务态度、物流服务。需持续监控TOP100店铺,分析波动原因(如大促后DSR下降)。建议:每2小时采集一次,对比历史数据,设置阈值告警。

13. 淘宝“优惠券”领取逻辑

店铺券领取接口:https://shopsearch.taobao.com/search?...,需couponId参数。但接口有次数限制(每人限领1张),且需登录态。建议:使用Cookie池轮换领取。

14. 淘宝“直播回放”视频下载

直播回放视频URL需从liveRoomInfo中提取playUrl字段。但URL含时效Token(1小时失效),需实时解析。推荐:在直播开始时立即录制,避免回放延迟。

15. 淘宝“淘宝联盟”返利数据

淘宝联盟返回URL含union_id、source参数,用于追踪推广效果。采集时需模拟真实跳转(302重定向),否则返利失效。

16. 淘宝“淘金币”任务数据

淘金币任务含“签到”“浏览商品”“分享”等,需模拟真实操作(如浏览停留≥15秒)。注意:频繁操作会触发“任务失败”,建议间隔≥30分钟。

17. 淘宝“88VIP”专属活动

88VIP活动页面需高权重账号访问,普通账号仅显示“活动已结束”。通过Cookie注入aliyun_country、aliyun_zone可模拟VIP环境,但无法获取实时权益。

18. 淘宝“问大家”自动回复生成

基于历史问答数据,可用NLP模型(如BERT)生成回复建议。但需注意:自动回复可能被平台识别为机器行为,导致账号降权。

19. 淘宝“评价标签”提取

评价标签(如“质量好”“发货快”)藏于tags字段。需解析HTML中的<span class="tag">节点,提取文本内容。注意:部分标签为图片,需OCR识别。

20. 淘宝“搜索人气”数据

搜索人气反映关键词热度,但仅对商家开放。可通过第三方工具(如“蝉妈妈”)聚合数据,或采集同类商品销量波动反推热度趋势。

ℹ️ 本文所有技术方案均基于公开资料整理,仅用于学术研究与合法合规目的。实际应用中请严格遵守平台规则与国家法律法规。

附:核心技术栈速查表

功能 推荐工具 关键参数 注意事项
基础请求 requests headers, cookies, proxies 必须设置Referer与User-Agent
动态渲染 Playwright headless=False, viewport 需模拟真实鼠标行为
登录模拟 Selenium + OCR 等待元素、滑块坐标 滑块轨迹需贝塞尔曲线
数据解析 BeautifulSoup lxml, css selector 注意HTML实体编码
分布式部署 Scrapy + Redis DUPFILTER_CLASS, SCHEDULER 需自定义去重逻辑
数据存储 MongoDB + MySQL bulk_write, on_duplicate_key_update 定期备份,防数据丢失