从零构建淘宝/天猫数据采集、店铺管理、运营监控、Bot模拟与风控对抗系统
Python在电商自动化领域具备天然优势:requests + BeautifulSoup + Selenium + playwright组合覆盖静态→动态→模拟交互全流程;scrapy构建分布式爬虫框架;pandas + matplotlib实现数据清洗与可视化;flask/django快速搭建管理后台。相较于Java、C#,其语法简洁、调试高效、社区活跃,尤其适合非科班出身的开发者快速入门并产出可用方案。
目标:每小时抓取目标店铺主推款的实时价格、库存、满减,用于内部调价决策。注意:淘宝对高频请求有严格风控,需加入随机User-Agent、请求间隔(5~15秒)、代理IP轮换(每200次换1个)。
import requests
from bs4 import BeautifulSoup
import random
import time
HEADERS = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64)...",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)...",
"Mozilla/5.0 (iPhone; CPU iPhone OS 14_0)...",
]
def fetch_price(item_id):
url = f"https://detail.tmall.com/item.htm?id={item_id}"
headers = {"User-Agent": random.choice(HEADERS)}
try:
resp = requests.get(url, headers=headers, timeout=10)
resp.encoding = 'utf-8'
soup = BeautifulSoup(resp.text, 'html.parser')
price = soup.select_one('.tm-price').text.strip()
stock = soup.select_one('.stock-num').text.strip()
return {"price": price, "stock": stock}
except Exception as e:
print(f"[ERROR] {item_id}: {e}")
return None
# 主流程:循环抓取3个商品
items = ["612345678", "623456789", "634567890"]
for item in items:
data = fetch_price(item)
if data:
print(f"【{item}】¥{data['price']} | 库存{data['stock']}")
time.sleep(random.uniform(5, 15)) # 随机延迟
痛点:人工 review 每日数千条评论不现实。通过中文分词 + 词频统计 + 情感词典构建轻量级情感模型。
步骤:
示例代码片段:
import jieba
from collections import Counter
# 简易情感词典(实际需1000+词)
POSITIVE = {'满意','推荐','好评','喜欢','快','准时','包装好'}
NEGATIVE = {'失望','差评','不推荐','慢','破损','客服差'}
def analyze_sentiment(text):
words = set(jieba.lcut(text))
pos = len(words & POSITIVE)
neg = len(words & NEGATIVE)
if pos > neg: return 'positive'
elif neg > pos: return 'negative'
else: return 'neutral'
# 示例评论
comments = [
"物流很快,包装完好,衣服很满意!",
"尺码不准,失望,不推荐。",
"还行吧,没特别感觉。"
]
results = Counter(analyze_sentiment(c) for c in comments)
print("情感分布:", dict(results)) # 输出:{'positive': 1, 'negative': 1, 'neutral': 1}
问题:店铺突然下架爆款、评价被删、登录态失效?通过定时任务+页面差异检测解决。
实现逻辑:
告警方式:企业微信机器人/Webhook/邮件(示例):
import hashlib
import requests
import json
def get_page_hash(url):
resp = requests.get(url, timeout=10)
return hashlib.sha256(resp.content).hexdigest()
def check_shop(shop_url):
current_hash = get_page_hash(shop_url)
# 从本地存储读取昨日hash(此处省略)
prev_hash = "旧哈希值"
if abs(hash(current_hash) - hash(prev_hash)) / len(current_hash) > 0.05:
send_alert(f"⚠️ 店铺首页异常!差异率超5%")
# 检查客服按钮
if "在线客服" not in resp.text:
send_alert("⚠️ 客服入口消失!")
def send_alert(msg):
webhook = "https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxx"
data = {"msgtype": "text", "text": {"content": msg}}
requests.post(webhook, json=data)
| 场景 | 推荐工具 | 优势 | 适用规模 |
|---|---|---|---|
| 静态页面抓取 | requests + BeautifulSoup | 轻量、快速、低资源 | 千级/日 |
| 动态加载页面 | Selenium | 兼容性强、支持JS执行 | 百级/日 |
| 高并发分布式 | Scrapy + Redis | 高吞吐、可扩展 | 百万级/日 |
| 复杂交互模拟 | Playwright | 多浏览器支持、断网重连 | 百级/日 |
| 数据可视化 | matplotlib | 定制化高、出版级图表 | 通用 |
⚠️ 以下行为可能触法:
✅ 安全做法:
常见风控策略:
应对方案:
2023年某公司因爬取淘宝商品价格数据并对外销售,被法院判定为“不正当竞争”,赔偿50万元。关键败诉点:未遵守robots.txt,且数据用于商业竞争。
启示:技术无罪,但应用需敬畏法律。建议:
A:常见原因:
A:登录流程:
⚠️ 警告:直接存储明文密码极不安全!建议使用环境变量或加密存储。
A:三重保障:
A:根据规模选择:
推荐Schema设计(商品表):
CREATE TABLE products (
id VARCHAR(20) PRIMARY KEY,
title TEXT,
price DECIMAL(10,2),
stock INT,
category VARCHAR(50),
updated_at DATETIME DEFAULT CURRENT_TIMESTAMP
);
A:构建监控看板:
示例监控日志:
[2025-04-05 09:00] 总请求: 214 | 成功: 208 | 失败: 6 | 平均耗时: 1.2s
[2025-04-05 09:05] ⚠️ IP 192.168.1.100 被封(触发滑块)
本网站将定期发布:
基于用户搜索行为,以下问题热度较高: