🐍 python爬虫遇到防火墙 · 网民最关心的深度解析
「python爬虫遇到防火墙」是每一位爬虫开发者绕不开的关卡。从简单的User‑Agent检测到复杂的JS指纹验证,从IP频率限制到CAPTCHA,防火墙技术日新月异。本页基于数十万网民的搜索与讨论,提炼出最具价值的反爬对抗经验,覆盖cookie池、代理隧道、浏览器指纹、selenium掩藏等核心话题。所有内容均来自实战,拒绝空谈。
〓 以下内容按「网友最关心的问题」组织,每个模块都包含可执行的示例与策略。〓
🔥 网民热搜 · 防火墙突围术
〔 热点一 〕 为什么python爬虫总是被防火墙拦截?
◆ 根本原因在于请求特征过于明显。默认的 requests 库不带任何浏览器特征,IP 在短时间内高频访问同一站点,触发速率限制。此外,TLS指纹(JA3)也会暴露爬虫身份。网友「@爬虫小陈」反馈:“换了代理IP依然被ban,后来发现是HTTP头顺序和浏览器不一致”。
⚡ 解决方案:伪装请求头、使用随机User-Agent、引入IP代理池(如付费隧道代理),并考虑curl_cffi库模拟浏览器指纹。
〔 热点二 〕 cookie 失效与 session 保持
「网友们还关心」cookie 被防火墙标记为异常怎么办?很多网站使用动态cookie,每次会话都需通过JavaScript生成。例如某瓣的 __cfduid 和 cf_clearance。错误示范:直接复制cookie不更新,导致请求被拦截。
◆ 正确做法:使用 selenium 或 playwright 获取真实cookie,再通过 requests.Session() 携带。或者使用 scrapy 的 cookies middleware 自动管理。
| 方案 | 优点 | 缺点 |
|---|---|---|
| selenium + pickle | cookie持久化 | 速度慢 |
| scrapy + 中间件 | 异步高效 | 配置复杂 |
| playwright + 缓存 | 指纹模拟强 | 资源占用高 |
〖 热点三 〗 IP代理池 搭建与维护
「网友们还关心」免费代理能用吗?实测:免费代理可用率低于15%,且延迟高。推荐自建代理池(如 proxy_pool 项目),结合隧道代理(阿布云、快代理)。核心参数:匿名度、响应时间、地区。下面是一个简单的代理池验证逻辑:
# 示例:代理可用性检测(伪代码)
proxies = ['http://ip1:port', 'http://ip2:port']
valid = []
for p in proxies:
try:
r = requests.get('http://httpbin.org/ip', proxies={'http':p}, timeout=5)
if r.status_code == 200:
valid.append(p)
except: pass
⚡ 建议:使用 Redis 存储代理,定时检测,并设置权重。
⚙️ 实战案例 · 选项卡切换
〈 指纹绕过 〉 修改浏览器指纹
「网友们还关心」selenium 被检测是因为 navigator.webdriver 属性。使用 undetected_chromedriver 或 stealth.min.js 隐藏特征。示例:
import undetected_chromedriver as uc
driver = uc.Chrome()
driver.get('https://bot.sannysoft.com') # 查看指纹是否被标记
◆ 另外,canvas指纹、AudioContext 也需要随机化。推荐 FingerprintJS 对抗思路。
- ⚡ 使用 playwright 的
channel: 'chrome'参数 - ⚡ 修改
webgl vendor和renderer
〖 验证码处理 〗 从OCR到打码平台
「网友们还关心」python爬虫遇到防火墙 经常会弹出图片验证码、滑块验证。简单图形验证码可用 ddddocr,复杂滑块需使用 2captcha 或 超级鹰。示例:
import ddddocr
ocr = ddddocr.DdddOcr()
with open('captcha.png', 'rb') as f:
img = f.read()
result = ocr.classification(img)
print(f'识别结果: {result}')
◆ 对于滑块验证,推荐 selenium 模拟轨迹,或使用 OpenCV 缺口识别。
〈 速率控制 〉 优雅的请求频率
「网友们还关心」爬虫 太快导致IP被封。最佳实践:随机延迟 + 指数退避。示例:
import time, random
def request_with_retry(url, max_retries=3):
for i in range(max_retries):
try:
r = requests.get(url, headers=headers, timeout=10)
return r
except Exception as e:
wait = (2 ** i) + random.uniform(0, 1)
time.sleep(wait)
return None
⚡ 另外,使用 scrapy 的 AutoThrottle 扩展能自动调节速度。
❓ 网友们还关心 · 高频问答
A:使用 cloudscraper 或 selenium 模拟浏览器,注意 cf_clearance cookie 的有效期。
A:在
settings.py 中设置 DOWNLOADER_MIDDLEWARES,启用 RotatingProxyMiddleware。A:使用 frida 或 Xposed 绕过证书绑定,或使用 mitmproxy 配合定制客户端。
A:结合 深度学习 训练专用模型,或使用商业打码平台(如 打码兔)。
A:搭建 Redis 代理队列,所有爬虫节点从队列取代理,并定期检测。
🛠️ 工具 · 资源
〓 开源库 〓
- ⚡ curl_cffi — 模拟TLS指纹
- ⚡ DrissionPage — 操控浏览器与requests
- ⚡ httpx — 支持HTTP/2
〓 在线检测 〓
- ⚡ whatismybrowser.com 查看指纹
- ⚡ bot.sannysoft.com 检测爬虫特征
- ⚡ ipinfo.io 代理识别
〓 社区 〓
- ⚡ 爬虫论坛 · 防火墙专版
- ⚡ GitHub 反爬收集项目
📚 深度拓展 · 网民必读
◆ python爬虫遇到防火墙 的本质是信任博弈。服务器通过行为分析(鼠标轨迹、滚动、点击延迟)来区分人机。因此,高级爬虫需要模拟人类行为:随机停顿、视口滚动、鼠标移动。推荐使用 playwright 录制回放。
◆ 另外,JS反调试 也是防火墙的利器。例如无限 debugger、内存爆破。应对方法:使用 puppeteer-extra 插件 stealth,或者注入 hook 脚本。
◆ 「网友们还关心」移动端爬虫 是否更容易?移动端防火墙相对较弱,但需处理 app加固 和 协议加密。常用工具:frida、objection。
◆ 未来趋势:AI防火墙 基于机器学习识别异常流量。爬虫方需引入 生成式对抗网络 生成更真实的请求分布。