Python爬虫AJAX与JS|深度技术实战与实战指南
核心价值定位
在当今Web应用日益动态化的趋势下,大量网站采用JavaScript动态渲染、AJAX异步加载等技术手段提升用户体验。传统基于静态HTML解析的Python爬虫技术面临严重失效风险——数据藏于网络请求之后、隐藏于前端脚本之中、动态生成于用户交互之后。本页面系统梳理Python爬虫在AJAX与JavaScript环境下的核心应对策略,涵盖requests+Session模拟、Selenium浏览器自动化、Playwright现代控制、Pyppeteer无头浏览器、JS逆向破解等多维技术路径。
我们不仅讲解技术原理,更聚焦于真实业务场景:电商商品动态抓取、社交媒体评论采集、新闻平台实时内容聚合、API接口逆向分析等。每个技术模块均配备可运行的完整代码示例、常见报错解析、性能调优技巧与反爬规避方案。无论您是初学者构建知识体系,还是资深开发者解决生产环境问题,本指南均提供可落地的解决方案。
知识体系全景图
本指南构建了完整的Python爬虫动态数据采集技术栈,包含四大核心模块:
- AJAX请求识别与复现:通过浏览器开发者工具定位XHR请求,分析Headers、Payload、Cookies、Token生成逻辑,使用requests库精准模拟请求
- JavaScript动态渲染处理:掌握Selenium、Playwright、Pyppeteer等浏览器自动化工具,实现页面完全渲染后数据提取
- 反爬机制对抗策略:针对IP封锁、滑块验证、加密参数、动态Class名、字体反爬等常见手段,提供多层绕过方案
- 工程化部署实践:构建分布式爬虫架构、代理IP池管理、异常重试机制、数据持久化与监控告警系统
全篇采用“原理→实战→避坑→优化”四步教学法,确保知识可理解、可操作、可迁移。所有代码示例均通过最新版Python 3.11验证,兼容主流操作系统(Windows/macOS/Linux),并严格遵循PEP8编码规范。
读者定位与收益
本指南面向以下技术人群:
- 具备基础Python编程能力,希望突破静态页面限制的开发者
- 从事数据采集、舆情监控、竞品分析的工程师与研究员
- 需要理解Web动态技术原理的前端与全栈工程师
- 高校计算机专业学生,希望掌握生产级爬虫工程实践
完成本指南学习后,您将能够:
- 独立完成95%以上动态网站的数据采集任务
- 快速识别并解析加密参数生成逻辑
- 设计高并发、低封禁率的稳定爬虫系统
- 理解现代Web应用架构,提升全栈技术视野
特别说明:本指南严格遵守《网络安全法》及网站robots.txt协议,所有技术仅用于合法授权的数据采集场景,禁止用于未授权的商业用途或破坏性操作。
基础原理:动态数据生成机制
静态页面 vs 动态页面
传统Python爬虫依赖直接请求URL获取HTML源码,通过正则、BeautifulSoup等工具提取内容。这种方式在面对静态页面(如维基百科、部分博客)时高效可靠。但现代Web应用普遍采用前后端分离架构:
- 前端框架(React/Vue/Angular)在浏览器端渲染页面
- 数据通过AJAX请求从后端API动态获取
- 关键内容可能由JavaScript实时生成或加密处理
当您在浏览器中右键“查看源代码”时,看到的是初始HTML骨架,而实际展示的内容往往由JavaScript在运行时动态注入。此时直接请求URL无法获取目标数据,必须模拟浏览器行为或逆向分析AJAX请求。
浏览器开发者工具实战定位
精准定位AJAX请求是动态爬虫的第一步。以Chrome浏览器为例:
- 打开目标网站,按F12进入开发者工具
- 切换至Network标签页,勾选“Preserve log”防止刷新丢失记录
- 触发页面动作(如滚动加载、点击加载更多)
- 在过滤框输入“XHR”,筛选出所有异步请求
- 点击目标请求,查看Headers、Payload、Response
关键分析点:
- Request URL:请求地址(可能含动态参数)
- Request Method:GET/POST等(决定参数传递方式)
- Request Headers:需重点保留Cookie、User-Agent、Referer、X-Requested-With
- Query String Parameters:GET参数(URL问号后内容)
- Form Data:POST参数(需分析参数生成逻辑)
- Response:返回的JSON/HTML片段(目标数据所在位置)
示例:某新闻网站“加载更多”按钮点击后,Network中出现新请求:https://news.example.com/api/getMore?offset=20&limit=10,返回JSON格式数据,包含标题、摘要、发布时间等字段。
Session与Cookies管理
许多网站通过Session维持用户状态,单次请求需携带有效Cookies。使用requests.Session可自动管理Cookies:
import requests
session = requests.Session()
# 访问首页获取初始Cookies
session.get("https://example.com")
# 模拟登录获取认证Cookies
login_data = {"username": "user", "password": "pass"}
session.post("https://example.com/login", data=login_data)
# 携带认证状态访问受保护资源
response = session.get("https://example.com/profile")
print(response.json())
关键技巧:
- 使用Session自动保存Cookies,避免重复请求
- 检查Response中的Set-Cookie头,确认登录是否成功
- 对需要验证码的网站,可先下载验证码图片并手动/自动识别
- 某些网站使用JWT Token,需从响应中解析并加入Authorization头
AJAX请求抓取实战
GET请求模拟
某天气网站API请求:https://api.weather.com/v1/forecast?city=beijing&units=m
import requests
url = "https://api.weather.com/v1/forecast"
params = {
"city": "beijing",
"units": "m"
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
"Referer": "https://www.weather.com/",
"X-Requested-With": "XMLHttpRequest"
}
response = requests.get(url, params=params, headers=headers)
data = response.json()
print("当前温度:", data["current"]["temperature"])
print("未来7天预报:", [day["temp"] for day in data["forecast"]])
注意事项:
- 必须保留Referer头,否则部分网站返回403
- User-Agent需使用真实浏览器标识
- 某些API要求Accept头为application/json
POST请求模拟
某搜索网站分页请求:https://search.example.com/api/query(POST)
import requests
url = "https://search.example.com/api/query"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
"Content-Type": "application/json"
}
payload = {
"keyword": "Python爬虫",
"page": 2,
"size": 20
}
response = requests.post(url, json=payload, headers=headers)
results = response.json()["data"]
for item in results:
print(f"标题: {item['title']}, 链接: {item['url']}")
关键点:
- 使用json=payload自动序列化为JSON并设置Content-Type
- 若网站要求form-data格式,使用data=payload(字典形式)
- 注意分页参数offset/page与size的对应关系
参数加密类型解析
动态网站常对请求参数进行加密,常见类型包括:
- 时间戳+随机数:如timestamp=1717020800&nonce=8f3a2b
- 签名算法:如sign=md5(secret+timestamp+data)
- 加密Cookie:如__session=base64(encrypted)
- 字体反爬:通过CSS映射加密字符
实战案例:某视频网站sign参数破解
观察请求:https://api.video.com/v1/video/detail?aid=123&sign=abc123
通过JS逆向定位sign生成函数:
function getSign(aid) {
const timestamp = Date.now();
const secret = "YOUR_SECRET_KEY";
const data = `${aid}${timestamp}${secret}`;
return md5(data);
}
Python实现:
import time
import hashlib
def get_sign(aid):
timestamp = str(int(time.time() * 1000))
secret = "YOUR_SECRET_KEY"
data = f"{aid}{timestamp}{secret}"
sign = hashlib.md5(data.encode()).hexdigest()
return sign, timestamp
aid = "123"
sign, timestamp = get_sign(aid)
url = f"https://api.video.com/v1/video/detail?aid={aid}&sign={sign}&t={timestamp}"
print(url)
高级技巧:
- 使用PyExecJS调用JS函数,避免手写加密逻辑
- 分析混淆JS代码时,使用Chrome断点调试定位关键函数
- 对动态JS加载,可使用
fetch获取JS源码再分析
分页参数规律分析
分页是动态网站高频操作,常见分页机制:
- offset-based分页:/api/list?offset=20&limit=10(偏移量)
- page-based分页:/api/list?page=3&size=10(页码)
- 游标分页:/api/list?cursor=abc123(基于ID或时间戳)
- 无限滚动:滚动到底部自动加载(需模拟滚动事件)
实战:处理游标分页
某社交平台API:https://api.social.com/v1/comments?max_id=last_comment_id
import requests
def fetch_comments(max_id=None):
url = "https://api.social.com/v1/comments"
params = {"max_id": max_id} if max_id else {}
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, params=params, headers=headers)
data = response.json()
for comment in data["comments"]:
print(f"{comment['user']}: {comment['text']}")
# 检查是否有下一页
if data.get("has_more"):
next_max_id = data["comments"][-1]["id"]
return next_max_id
return None
# 首次请求
max_id = None
while True:
max_id = fetch_comments(max_id)
if not max_id:
break
print(f"继续加载下一页... max_id={max_id}")
注意事项:
- 记录最后一条数据的ID作为游标
- 防止重复抓取(建立ID去重机制)
- 设置合理频率避免触发限流
常见反爬与应对策略
| 反爬手段 | 特征表现 | 解决方案 |
|---|---|---|
| 请求频率限制 | 返回429 Too Many Requests | 添加随机延时、使用代理IP池、控制QPS |
| IP封禁 | 返回403 Forbidden | 动态代理轮换、模拟真实用户行为 |
| 参数加密 | 请求含sign/token参数 | JS逆向破解加密逻辑 |
| 动态Class名 | HTML中class为随机字符串 | 使用CSS选择器+属性匹配、JS执行后提取 |
| 字体反爬 | 文字显示为方框或乱码 | 下载font文件、解析Unicode映射 |
JavaScript动态渲染处理
Selenium核心用法
Selenium是Python最成熟的浏览器自动化库,支持Chrome/Firefox等主流浏览器:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 初始化浏览器驱动
options = webdriver.ChromeOptions()
options.add_argument("--headless") # 无头模式
options.add_argument("--disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(options=options)
try:
# 访问页面
driver.get("https://example.com")
# 等待元素加载完成(显式等待)
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, ".dynamic-content")
))
# 获取渲染后的内容
html = driver.page_source
print("页面内容长度:", len(html))
# 提取数据
titles = driver.find_elements(By.CSS_SELECTOR, "h2.title")
for title in titles:
print("标题:", title.text)
finally:
driver.quit()
关键技巧:
- 使用WebDriverWait实现精准等待,避免硬等待
- 通过execute_script执行JS操作(如滚动、修改属性)
- 处理弹窗、iframe切换等复杂场景
模拟用户交互
from selenium.webdriver.common.action_chains import ActionChains
# 滚动到底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
# 模拟鼠标悬停
hover_element = driver.find_element(By.CSS_SELECTOR, ".menu-item")
ActionChains(driver).move_to_element(hover_element).perform()
# 点击元素
button = driver.find_element(By.ID, "load-more")
button.click()
# 输入文本
search_box = driver.find_element(By.NAME, "q")
search_box.send_keys("Python爬虫")
search_box.submit()
Playwright优势解析
Playwright是微软推出的现代化浏览器自动化工具,相比Selenium具有:
- 原生支持多浏览器(Chromium/Firefox/Safari)
- 内置等待机制,无需显式等待
- 支持并行测试,性能更优
- 提供强大的网络拦截与 mocking能力
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
# 启动浏览器
browser = p.chromium.launch(headless=True)
page = browser.new_page()
# 访问页面
page.goto("https://example.com", wait_until="networkidle")
# 等待元素出现
page.wait_for_selector(".dynamic-content")
# 获取内容
content = page.content()
print("页面内容:", content[:200])
# 提取数据
titles = page.eval_on_selector("h2.title", "els => els.map(el => el.innerText)")
print("标题列表:", titles)
browser.close()
网络拦截示例:
def handle_request(route, request):
if request.resource_type == "xhr":
print("拦截到AJAX请求:", request.url)
route.continue_()
page.route("**/*", handle_request)
优势场景:
- 需要同时操作多个浏览器上下文
- 需精确控制网络请求/响应
- 要求更高稳定性与性能
Pyppeteer实战
Pyppeteer是Puppeteer的Python实现,专为Node.js Puppeteer设计,适合复杂JS逆向:
import asyncio
from pyppeteer import launch
async def main():
browser = await launch(headless=True)
page = await browser.newPage()
# 访问页面
await page.goto("https://example.com", {"waitUntil": "networkidle2"})
# 等待元素
await page.waitForSelector(".dynamic-content")
# 获取内容
content = await page.content()
print("页面内容:", content[:200])
# 提取数据
titles = await page.evaluate("""
() => Array.from(document.querySelectorAll('h2.title'))
.map(el => el.innerText)
""")
print("标题列表:", titles)
await browser.close()
asyncio.run(main())
高级技巧:
- 注入自定义JS脚本修改页面行为
- 拦截并修改网络请求
- 处理CSP策略与证书错误
# 注入脚本修改navigator.webdriver
await page.evaluateOnNewDocument("""
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
""")
常见问题与解决方案
| 问题现象 | 原因分析 | 解决方案 |
|---|---|---|
| 元素未加载完成 | 页面JS执行未完成 | 使用显式等待(WebDriverWait) |
| 元素被遮挡无法点击 | 悬浮窗/广告覆盖 | 关闭广告拦截插件、滚动页面 |
| Cookie未生效 | 跨域/Domain不匹配 | 手动添加Cookie、访问父域名 |
| 检测到自动化 | navigator.webdriver=true | 注入JS移除自动化标识 |
| 渲染后内容为空 | SPA应用需等待异步请求 | 等待networkidle状态 |
反爬机制对抗策略
IP封禁应对
网站通过IP频率限制、黑名单IP库实施封禁。解决方案:
- 代理IP池:使用动态代理服务(如快代理、芝麻HTTP),按需获取新IP
- 请求频率控制:添加随机延时(1-5秒),模拟人类操作节奏
- 行为模拟:随机滚动、鼠标移动、点击等操作
- 失败重试机制:检测429/403状态码,自动切换IP重试
import random
import time
import requests
def safe_request(url, max_retries=3):
proxies_pool = [
{"http": "http://ip1:port"},
{"http": "http://ip2:port"}
]
for attempt in range(max_retries):
try:
proxy = random.choice(proxies_pool)
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
response = requests.get(url, headers=headers, proxies=proxy, timeout=10)
if response.status_code == 429:
print(f"请求过快,切换IP (尝试{attempt+1})")
time.sleep(random.uniform(2, 5))
continue
return response
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
time.sleep(random.uniform(1, 3))
return None
滑块验证破解
主流滑块验证(如极验、点触)需图形识别+轨迹模拟:
- 下载背景图与滑块图
- 使用OpenCV模板匹配计算缺口位置
- 生成平滑滑动轨迹(先加速后减速)
- 模拟鼠标操作完成验证
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import cv2
import numpy as np
# 截图缺口图
driver.save_screenshot("screenshot.png")
slider = driver.find_element(By.ID, "slider")
location = slider.location
size = slider.size
# 裁剪滑块区域
img = cv2.imread("screenshot.png")
x, y = location["x"], location["y"]
w, h = size["width"], size["height"]
gap_img = img[y:y+h, x:x+w]
# 计算缺口位置(简化版)
template = cv2.imread("slider_template.png")
result = cv2.matchTemplate(gap_img, template, cv2.TM_CCOEFF_NORMED)
_, max_val, _, max_loc = cv2.minMaxLoc(result)
distance = max_loc[0] # 滑动距离
# 生成轨迹
track = []
current = 0
mid = distance * 4 / 5
t = 0.2
v = 0
while current < distance:
if current < mid:
a = 2
else:
a = -3
v0 = v
v = v0 + a * t
move = v0 * t + 0.5 * a * t * t
current += move
track.append(round(move))
# 模拟操作
ActionChains(driver).click_and_hold(slider).perform()
for x in track:
ActionChains(driver).move_by_offset(x, 0).perform()
ActionChains(driver).release().perform()
注意事项:
- 轨迹需模拟人类操作(非匀速)
- 添加随机扰动(±2像素)
- 滑动后停留1-2秒再提交
字体反爬识别
某网站文字显示为方框,通过F12发现CSS中定义了自定义字体:
.icon {
font-family: 'iconfont' !important;
...
}
.icon-home::before { content: "\e601"; }
.icon-user::before { content: "\e602"; }
解析步骤:
- 下载font文件(.ttf/.woff)
- 使用fontTools解析Unicode映射
- 建立字符映射表
from fontTools.ttLib import TTFont
# 下载字体文件
font = TTFont("iconfont.woff")
font.saveXML("iconfont.xml")
# 查看字符映射
cmap = font['cmap'].getCmap(3).cmap
print(cmap) # {58881: 'glyph00001', ...}
# 建立映射表
char_map = {
'\ue601': 'home',
'\ue602': 'user',
'\ue603': 'search'
}
# 替换文本
text = "icon-home icon-user"
for key, value in char_map.items():
text = text.replace(key, value)
print(text) # home user
自动化方案:
- 使用pyppeteer截取字体渲染图
- 调用OCR识别字符形状
- 动态更新映射表
工具链与工程化实践
核心工具对比
| 工具 | 适用场景 | 优势 | 局限 |
|---|---|---|---|
| requests | 静态页面、API请求 | 轻量、高效、易上手 | 无法处理JS渲染 |
| Selenium | 通用动态页面 | 兼容性好、文档丰富 | 速度慢、资源占用高 |
| Playwright | 现代网站、复杂交互 | 性能优、API现代、多浏览器 | 学习曲线略陡 |
| Pyppeteer | JS逆向、Puppeteer迁移 | 与Node版同步、功能强 | 异步编程复杂 |
| Scrapy | 大规模分布式爬虫 | 异步高并发、架构完善 | 学习成本高、需结合Splash |
项目工程化架构
典型爬虫项目目录结构:
spider_project/
├── config/ # 配置文件
│ ├── settings.py # 全局配置
│ └── proxies.txt # 代理IP池
├── data/ # 数据存储
│ ├── raw/ # 原始数据
│ └── processed/ # 清洗后数据
├── logs/ # 日志文件
├── spiders/ # 爬虫核心
│ ├── __init__.py
│ ├── base_spider.py # 基础类
│ └── example_spider.py # 具体爬虫
├── utils/ # 工具函数
│ ├── request.py # 请求封装
│ └── encrypt.py # 加密处理
├── tests/ # 测试用例
├── requirements.txt # 依赖列表
└── main.py # 入口文件
关键模块说明:
- base_spider.py:封装通用功能(重试、代理、日志)
- request.py:统一请求入口(自动处理Cookie、Headers)
- encrypt.py:加密参数生成逻辑
- pipeline.py:数据持久化(JSON/MySQL/Elasticsearch)
数据存储方案
| 存储方式 | 适用场景 | 示例代码 |
|---|---|---|
| JSON文件 | 小规模数据、临时存储 | json.dump(data, open("data.json", "w")) |
| CSV | 结构化数据、Excel兼容 | pd.DataFrame(data).to_csv("data.csv", index=False) |
| MySQL | 关系型数据、需查询 | cursor.execute("INSERT INTO items VALUES (%s)", (title,)) |
| Elasticsearch | 全文检索、大数据量 | es.index(index="items", body=data) |
真实项目案例
电商商品动态抓取
某电商平台采用无限滚动+AJAX加载商品,关键步骤:
- 定位API:
https://m.shop.com/api/products?category=xxx&offset=20 - 分析sign参数:通过JS逆向发现是
md5(secret + timestamp + category) - 模拟请求:构建完整请求头与参数
- 数据清洗:提取标题、价格、评论数、图片URL
import requests
import hashlib
import time
def get_sign(category):
secret = "SHOP_SECRET_KEY"
timestamp = str(int(time.time()))
data = f"{secret}{timestamp}{category}"
return hashlib.md5(data.encode()).hexdigest(), timestamp
def fetch_products(category):
sign, timestamp = get_sign(category)
url = f"https://m.shop.com/api/products?category={category}&sign={sign}&t={timestamp}"
headers = {
"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 14_0 like Mac OS X)",
"Referer": "https://m.shop.com/"
}
response = requests.get(url, headers=headers)
products = response.json()["data"]["products"]
for product in products:
yield {
"title": product["title"],
"price": product["price"],
"comments": product["comments"],
"image": product["image"]
}
# 使用示例
for item in fetch_products("electronics"):
print(f"{item['title']} - ¥{item['price']} ({item['comments']}条评论)")
社交媒体评论采集
某社交平台评论采用游标分页,需先登录获取Token:
- 使用Selenium模拟登录,获取Cookies
- 从Cookies中提取Token
- 构建评论API请求(携带Token)
- 解析JSON获取评论数据
from selenium import webdriver
import requests
# 模拟登录
driver = webdriver.Chrome()
driver.get("https://social.com/login")
# 手动输入账号密码...
cookies = {c["name"]: c["value"] for c in driver.get_cookies()}
driver.quit()
# 提取Token
token = cookies.get("auth_token")
# 评论API请求
url = "https://social.com/api/comments"
headers = {
"Authorization": f"Bearer {token}",
"User-Agent": "Mozilla/5.0"
}
def fetch_comments(max_id=None):
params = {"max_id": max_id} if max_id else {}
response = requests.get(url, headers=headers, params=params)
data = response.json()
for comment in data["comments"]:
yield {
"user": comment["user"]["name"],
"text": comment["text"],
"time": comment["time"]
}
if data.get("has_more"):
yield from fetch_comments(data["comments"][-1]["id"])
# 获取前50条评论
for i, comment in enumerate(fetch_comments()):
if i >= 50:
break
print(f"{comment['user']}: {comment['text'][:50]}...")
新闻平台实时监控
需求:实时监控某新闻网站新发文章,5分钟内抓取并入库
方案:使用Playwright监控页面变化
from playwright.sync_api import sync_playwright
import time
def monitor_news():
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
# 记录初始文章ID列表
page.goto("https://news.example.com")
page.wait_for_selector(".news-item")
old_ids = page.eval_on_selector(
".news-item", "els => els.map(el => el.id)"
)
while True:
# 每30秒刷新一次
time.sleep(30)
page.reload(wait_until="networkidle")
new_ids = page.eval_on_selector(
".news-item", "els => els.map(el => el.id)"
)
# 检测新增文章
added_ids = set(new_ids) - set(old_ids)
if added_ids:
print(f"发现{len(added_ids)}篇新文章!")
for aid in added_ids:
content = page.eval_on_selector(
f"#{aid} .content", "el => el.innerText"
)
print(f"文章{aid}: {content[:100]}...")
old_ids = new_ids
monitor_news()
优化建议:
- 使用WebSocket实时监听页面变化
- 添加邮件/钉钉告警通知
- 将新文章存入数据库
网友还关心
常见问题解答
• 遵守网站robots.txt协议
• 不突破反爬措施(如绕过验证码可能违规)
• 不用于商业盗取(如电商比价需授权)
• 控制请求频率(避免造成服务器压力)
建议:重要项目咨询专业律师,使用官方API优先。
• 动态但无JS加密 → Selenium
• 复杂交互/性能要求高 → Playwright
• 需JS逆向 → Pyppeteer
• 大规模分布式 → Scrapy+Splash
2. 检查Headers是否完整(User-Agent/Referer/Cookie)
3. 更换代理IP
4. 模拟真实用户行为(随机延时、鼠标移动)
5. 分析封禁规则(IP池轮换+请求间隔动态化)
• 点选验证:图像分割+坐标计算
• 文字验证:调用第三方API(如百度OCR)
• 字符识别:使用Tesseract+深度学习模型
注意:避免高频请求触发更复杂验证码
学习路径建议
- 基础阶段(1-2周)
掌握HTML/CSS/JS基础,熟悉requests基本用法,能抓取静态页面 - 进阶阶段(2-3周)
学习浏览器开发者工具,掌握Selenium基础,能处理简单动态页面 - 高阶阶段(持续学习)
深入JS逆向、反爬对抗、分布式架构,参与开源项目实战
推荐资源:
- MDN Web Docs(官方文档)
- 《Python网络数据采集》(书)
- GitHub开源爬虫项目(如Scrapy-Redis)
- 技术社区(Stack Overflow、V2EX)