模块一:Python基础与网络协议精讲
本模块专为零基础学员设计,以“最小必要知识集”为原则,确保后续学习无知识断层:
- • Python语法核心:变量与数据类型、控制流(if/for/while)、函数定义与参数传递、模块导入机制
- • 面向对象编程:类与对象、继承与多态、特殊方法(__init__、__str__)在爬虫中的典型应用
- • HTTP协议深度解析:
- 请求行/状态行结构:GET/POST区别、URL编码规范
- 请求头关键字段:User-Agent、Referer、Cookie、Authorization
- 响应体解析:Content-Type、Transfer-Encoding、Chunked传输
- 状态码实战:200/201/301/302/400/401/403/404/500的爬虫应对策略
- • SSL/TLS原理简明:HTTPS握手流程、证书验证机制、requests的verify参数使用陷阱
# 示例:使用requests模拟浏览器请求(含反爬基础配置)
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
'Accept-Encoding': 'gzip, deflate, br',
'Connection': 'keep-alive',
'Upgrade-Insecure-Requests': '1'
}
response = requests.get(
'https://www.example.com',
headers=headers,
timeout=10
)
print(f"状态码: {response.status_code}")
print(f"响应头Content-Type: {response.headers.get('Content-Type')}")
模块二:三大核心框架深度实战
⚡
框架选择指南:简单页面→requests+BeautifulSoup;中等复杂度→Scrapy;高动态内容→Selenium/Playwright。本模块将通过对比实验,揭示各框架的适用边界。
1. requests + BeautifulSoup4:轻量级采集利器
- • 编码陷阱:response.apparent_encoding与response.encoding差异解析(以某新闻站为例)
- • HTML解析优化:CSS选择器 vs XPath性能对比(10万条数据实测:CSS快23%)
- • 会话维持:Session对象的连接池复用机制,避免重复TCP握手
# 示例:使用session维持登录状态抓取付费内容
import requests
from bs4 import BeautifulSoup
session = requests.Session()
login_data = {'username': 'test', 'password': '123456'}
session.post('https://api.example.com/login', data=login_data)
# 模拟翻页
for page in range(1, 4):
url = f'https://www.example.com/data?page={page}'
response = session.get(url, headers={'Referer': 'https://www.example.com'})
soup = BeautifulSoup(response.content, 'lxml')
items = soup.select('.data-item') # CSS选择器
print(f"第{page}页解析到{len(items)}条数据")
2. Scrapy:企业级爬虫框架
- • 中间件深度定制:
- Downloader Middleware:动态IP池轮换(集成proxypool)
- Spider Middleware:请求失败重试策略(指数退避算法)
- • 管道处理:数据清洗(正则/BeautifulSoup二次过滤)、去重(Redis指纹)、异构存储(MySQL+MongoDB双写)
- • 性能调优:CONCURRENT_REQUESTS参数调优、下载延迟(DOWNLOAD_DELAY)、自动限速(AUTOTHROTTLE)
# settings.py关键配置
BOT_NAME = 'spider'
SPIDER_MODULES = ['spider.spiders']
NEWSPIDER_MODULE = 'spider.spiders'
ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 0.5
CONCURRENT_REQUESTS = 16
DOWNLOADER_MIDDLEWARES = {
'spider.middlewares.ProxyMiddleware': 543,
'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
}
ITEM_PIPELINES = {
'spider.pipelines.DuplicatePipeline': 100,
'spider.pipelines.SaveMySQLPipeline': 300,
}
模块三:高阶反反爬与分布式架构
1. 动态渲染解决方案
- • Selenium实战:
- 显式等待(WebDriverWait)替代time.sleep
- 处理iframe嵌套:driver.switch_to.frame()
- 模拟滚动加载:driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
- • Playwright新锐方案:
- 原生支持无头模式下的开发者工具协议
- 自动等待网络空闲(wait_for_load_state('networkidle'))
- 多页面管理:browser_context.new_page()
2. JS逆向入门路径
JavaScript加密参数解密四步法:
- 定位加密点:F12 Network → 查找含加密参数的请求
- 下断点调试:在JS文件中设置XHR断点(Event Listener Breakpoints → XHR)
- 参数溯源:向上追踪变量定义,识别加密函数(如base64、AES、RSA)
- Python复现:使用pycryptodome等库还原加密逻辑
典型案例:某招聘网站的“加密token”参数,经分析为AES-CBC模式,密钥为请求URL的MD5值前16位,IV为固定值“0102030405060708”
# 示例:AES-CBC解密模拟(需安装:pip install pycryptodome)
from Crypto.Cipher import AES
from Crypto.Util.Padding import unpad
import base64, hashlib
def decrypt_aes(data, key):
key = hashlib.md5(key.encode()).hexdigest()[:16].encode()
iv = b'0102030405060708'
cipher = AES.new(key, AES.MODE_CBC, iv)
decrypted = unpad(cipher.decrypt(base64.b64decode(data)), AES.block_size)
return decrypted.decode()