🛡️ py防火墙 · 深度站

🐍 python爬虫遇到防火墙 · 网民最关心的深度解析

「python爬虫遇到防火墙」是每一位爬虫开发者绕不开的关卡。从简单的User‑Agent检测到复杂的JS指纹验证,从IP频率限制到CAPTCHA,防火墙技术日新月异。本页基于数十万网民的搜索与讨论,提炼出最具价值的反爬对抗经验,覆盖cookie池、代理隧道、浏览器指纹、selenium掩藏等核心话题。所有内容均来自实战,拒绝空谈。

〓 以下内容按「网友最关心的问题」组织,每个模块都包含可执行的示例与策略。〓

🔥 网民热搜 · 防火墙突围术

〔 热点一 〕 为什么python爬虫总是被防火墙拦截?

◆ 根本原因在于请求特征过于明显。默认的 requests 库不带任何浏览器特征,IP 在短时间内高频访问同一站点,触发速率限制。此外,TLS指纹(JA3)也会暴露爬虫身份。网友「@爬虫小陈」反馈:“换了代理IP依然被ban,后来发现是HTTP头顺序和浏览器不一致”。

⚡ 解决方案:伪装请求头、使用随机User-Agent、引入IP代理池(如付费隧道代理),并考虑curl_cffi库模拟浏览器指纹。

〔 热点二 〕 cookie 失效与 session 保持

「网友们还关心」cookie 被防火墙标记为异常怎么办?很多网站使用动态cookie,每次会话都需通过JavaScript生成。例如某瓣的 __cfduid 和 cf_clearance。错误示范:直接复制cookie不更新,导致请求被拦截。

◆ 正确做法:使用 selenium 或 playwright 获取真实cookie,再通过 requests.Session() 携带。或者使用 scrapy 的 cookies middleware 自动管理。

方案优点缺点
selenium + picklecookie持久化速度慢
scrapy + 中间件异步高效配置复杂
playwright + 缓存指纹模拟强资源占用高

〖 热点三 〗 IP代理池 搭建与维护

「网友们还关心」免费代理能用吗?实测:免费代理可用率低于15%,且延迟高。推荐自建代理池(如 proxy_pool 项目),结合隧道代理(阿布云、快代理)。核心参数:匿名度、响应时间、地区。下面是一个简单的代理池验证逻辑:

# 示例:代理可用性检测(伪代码)
proxies = ['http://ip1:port', 'http://ip2:port']
valid = []
for p in proxies:
    try:
        r = requests.get('http://httpbin.org/ip', proxies={'http':p}, timeout=5)
        if r.status_code == 200:
            valid.append(p)
    except: pass

⚡ 建议:使用 Redis 存储代理,定时检测,并设置权重。

⚙️ 实战案例 · 选项卡切换

〈 指纹绕过 〉 修改浏览器指纹

「网友们还关心」selenium 被检测是因为 navigator.webdriver 属性。使用 undetected_chromedriver 或 stealth.min.js 隐藏特征。示例:

import undetected_chromedriver as uc
driver = uc.Chrome()
driver.get('https://bot.sannysoft.com')  # 查看指纹是否被标记

◆ 另外,canvas指纹、AudioContext 也需要随机化。推荐 FingerprintJS 对抗思路。

  • ⚡ 使用 playwright 的 channel: 'chrome' 参数
  • ⚡ 修改 webgl vendor 和 renderer

〖 验证码处理 〗 从OCR到打码平台

「网友们还关心」python爬虫遇到防火墙 经常会弹出图片验证码、滑块验证。简单图形验证码可用 ddddocr,复杂滑块需使用 2captcha 或 超级鹰。示例:

import ddddocr
ocr = ddddocr.DdddOcr()
with open('captcha.png', 'rb') as f:
    img = f.read()
result = ocr.classification(img)
print(f'识别结果: {result}')

◆ 对于滑块验证,推荐 selenium 模拟轨迹,或使用 OpenCV 缺口识别。

〈 速率控制 〉 优雅的请求频率

「网友们还关心」爬虫 太快导致IP被封。最佳实践:随机延迟 + 指数退避。示例:

import time, random
def request_with_retry(url, max_retries=3):
    for i in range(max_retries):
        try:
            r = requests.get(url, headers=headers, timeout=10)
            return r
        except Exception as e:
            wait = (2 ** i) + random.uniform(0, 1)
            time.sleep(wait)
    return None

⚡ 另外,使用 scrapy 的 AutoThrottle 扩展能自动调节速度。

❓ 网友们还关心 · 高频问答

Q1:python爬虫 遇到 Cloudflare 防火墙怎么办?
A:使用 cloudscraper 或 selenium 模拟浏览器,注意 cf_clearance cookie 的有效期。
Q2:Scrapy 框架如何配置代理?
A:在 settings.py 中设置 DOWNLOADER_MIDDLEWARES,启用 RotatingProxyMiddleware。
Q3:App爬虫 抓包遇到 SSL Pinning?
A:使用 frida 或 Xposed 绕过证书绑定,或使用 mitmproxy 配合定制客户端。
Q4:验证码 识别准确率太低?
A:结合 深度学习 训练专用模型,或使用商业打码平台(如 打码兔)。
Q5:分布式爬虫 如何统一管理代理?
A:搭建 Redis 代理队列,所有爬虫节点从队列取代理,并定期检测。

🛠️ 工具 · 资源

〓 开源库 〓

  • ⚡ curl_cffi — 模拟TLS指纹
  • ⚡ DrissionPage — 操控浏览器与requests
  • ⚡ httpx — 支持HTTP/2

〓 在线检测 〓

  • ⚡ whatismybrowser.com 查看指纹
  • ⚡ bot.sannysoft.com 检测爬虫特征
  • ⚡ ipinfo.io 代理识别

〓 社区 〓

  • ⚡ 爬虫论坛 · 防火墙专版
  • ⚡ GitHub 反爬收集项目

📚 深度拓展 · 网民必读

◆ python爬虫遇到防火墙 的本质是信任博弈。服务器通过行为分析(鼠标轨迹、滚动、点击延迟)来区分人机。因此,高级爬虫需要模拟人类行为:随机停顿、视口滚动、鼠标移动。推荐使用 playwright 录制回放。

◆ 另外,JS反调试 也是防火墙的利器。例如无限 debugger、内存爆破。应对方法:使用 puppeteer-extra 插件 stealth,或者注入 hook 脚本。

◆ 「网友们还关心」移动端爬虫 是否更容易?移动端防火墙相对较弱,但需处理 app加固 和 协议加密。常用工具:frida、objection。

◆ 未来趋势:AI防火墙 基于机器学习识别异常流量。爬虫方需引入 生成式对抗网络 生成更真实的请求分布。