Python Selenium 爬虫添加Cookies

权威指南|实战案例|反反爬策略|会话维持精要

为何需要添加Cookies?——会话维持的核心逻辑

在现代Web应用中,身份认证与会话管理几乎全部依赖于Cookie机制。当用户通过浏览器完成登录后,服务端会生成一个唯一的会话标识(如JSESSIONID、PHPSESSID等),并以Set-Cookie响应头下发至客户端。浏览器后续请求将自动携带该Cookie,作为身份凭证。而爬虫若跳过登录流程直接请求受保护接口,必然因缺少有效Cookie而遭遇401 Unauthorized或302 Redirect跳转至登录页。

⚡

核心价值

通过Python Selenium 爬虫添加Cookies,可跳过重复交互式登录流程,实现快速、批量、低延迟的数据采集,尤其适用于需要频繁切换账号、模拟多用户行为的场景。

值得注意的是,仅添加Cookie并非万能——许多网站采用多因子校验(如Referer、User-Agent、X-Forwarded-For、Origin等请求头联动校验),甚至结合浏览器指纹、LocalStorage、IndexedDB等本地存储数据联合验证会话合法性。因此,Python Selenium 爬虫添加Cookies必须与完整会话上下文同步,方能实现稳定复用。

典型失败场景深度剖析

下文将从原理到实践,系统讲解如何在Selenium中安全、高效、可复现地注入Cookies,并配套真实调试经验与排错方案。

三种主流添加方式详解——原理、语法与适用场景

① 基于WebDriver API的add_cookie()方法

这是Selenium原生支持的标准方式,要求传入一个字典对象,包含必要字段:name、value、domain(可选)、path(可选)、secure(可选)、httpOnly(只读)、expiry(可选,Unix时间戳)。

⚙️

关键约束

调用add_cookie()前必须先访问目标域名下的任意页面(即使404页),否则Selenium会抛出InvalidArgumentException: invalid argument: 'domain' cannot be set for cookies without URL错误。这是因浏览器安全策略禁止跨域设置Cookie。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
options = Options()
options.add_argument('--disable-blink-features=AutomationControlled')
driver = webdriver.Chrome(options=options)
driver.get('https://example.com/login')  # 必须先访问域名
driver.add_cookie({
    'name': 'session_id',
    'value': 'abc123xyz',
    'domain': '.example.com',  # 注意前导点号
    'path': '/',
    'secure': True,
    'httpOnly': False,
    'expiry': int(time.time()) + 3600 * 24  # 24小时后过期
})
driver.refresh()  # 刷新后生效

② 通过DevTools Protocol注入——绕过安全限制

当目标网站启用严格Cookie策略(如__Host-前缀要求无Domain字段),或需要同时注入多个Cookie时,可借助Chrome DevTools Protocol(CDP)直接操作底层网络层,绕过WebDriver API的校验逻辑。

driver.execute_cdp_cmd('Network.setCookie', {
    'name': 'auth_token',
    'value': 'eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9...',
    'domain': 'example.com',
    'path': '/api',
    'httpOnly': False,
    'secure': True,
    'sameSite': 'None'
})

该方法支持设置sameSite属性(WebDriver API不支持),且可批量调用:execute_cdp_cmd('Network.enable', {})后循环执行setCookie。

③ 从浏览器导出Cookie再注入——生产级复用方案

在真实项目中,常通过手动登录获取完整Cookie,再导出为JSON或Har文件供爬虫复用。步骤如下:

  1. 在浏览器中完成登录,打开开发者工具 → Application → Cookies → 全选复制;
  2. 格式化为[{name, value, domain, ...}]结构;
  3. 在Selenium脚本中加载JSON并逐条注入;
  4. 同步localStorage与sessionStorage数据:
with open('cookies.json') as f:
    cookies = json.load(f)
for c in cookies:
    c.pop('sameSite', None)  # WebDriver不兼容
    c.pop('expirationDate', None)
    driver.add_cookie(c)
# 同步localStorage
local_storage = driver.execute_script('return localStorage.getItem("user_profile");')
driver.execute_script(f'localStorage.setItem("user_profile", "{local_storage}");')
⚠️

安全警告

切勿将包含敏感信息(如password、token)的Cookie提交至Git仓库!建议使用环境变量或加密存储,生产环境应通过.gitignore排除*.json文件。

最佳注入时机——决定成败的5个关键节点

① 登录后立即注入(推荐)

在Selenium驱动完成自动登录后,立即调用get_cookies()获取当前会话Cookie,保存至本地缓存。下次启动时直接复用,避免重复触发反爬机制(如短信验证码、滑块验证)。

def save_session_cookies(driver, filename='session.json'):
    cookies = driver.get_cookies()
    for c in cookies:
        c.pop('sameSite', None)
    with open(filename, 'w') as f:
        json.dump(cookies, f)
def load_session_cookies(driver, filename='session.json'):
    with open(filename) as f:
        cookies = json.load(f)
    driver.get('https://target.com')
    for c in cookies:
        driver.add_cookie(c)
    driver.refresh()

② 跳过登录页的前置注入

当目标网站允许“免登录浏览”(如仅部分接口需鉴权),可在访问首页后直接注入Cookie,无需等待登录表单提交。此时需精确匹配domain与path,确保Cookie被正确附加到后续请求。

③ 动态会话维持——长连接场景

对于需要长时间运行的爬虫(如监控类任务),需定期检测Cookie有效性。通过请求/api/user/profile等轻量接口,若返回401则触发Cookie刷新流程:

④ 多账号并发注入

在分布式爬虫架构中,可为每个Worker进程分配独立Cookie池。通过Redis管理会话状态,Worker启动时从池中获取可用Cookie,使用后归还。关键点:

💡

实战技巧

注入Cookie后务必调用driver.refresh()或访问新页面触发Cookie生效。某些网站需通过Set-Cookie响应头动态写入,直接修改DOM无效。

高效调试技巧——快速定位注入失败原因

① 检查Cookie是否被正确附加

在Selenium中执行JavaScript获取当前页面所有Cookie:

driver.execute_script('return document.cookie').split(';')

② 对比请求头与响应头

启用Chrome DevTools协议日志,实时捕获请求头:

driver.execute_cdp_cmd('Network.enable', {})
driver.execute_cdp_cmd('Network.setExtraHTTPHeaders', {'headers': {'X-Debug': 'true'}})

或使用driver.get_log('performance')解析Network响应,检查Set-Cookie是否被拒绝(如Rejected due to SameSite policy)。

③ 常见错误码速查表

错误类型 典型报错 解决方案
跨域注入 invalid argument: 'domain' cannot be set... 先访问目标域名页面,再调用add_cookie()
SameSite冲突 Cookie has "sameSite" feature but current browser does not support it 移除sameSite字段,或升级ChromeDriver至v80+
Secure属性缺失 Cookie "session" was set with "Secure" but was not received from HTTPS 确保访问URL为https://,或设置secure=False(仅测试环境)
Domain不匹配 请求未携带Cookie 检查Cookie的domain是否为.example.com(含前导点)

④ 使用浏览器原生调试工具验证

在Chrome中按F12 → Application → Cookies,查看目标域名下的所有Cookie,确认注入后是否出现在列表中。若未显示,说明注入失败,需回溯参数设置。

高频问题深度解答——90%用户踩过的坑

Q1:为什么注入后Cookie未生效?

根本原因:浏览器安全策略要求Cookie的domain必须与当前页面域名匹配。若注入时domain='example.com',但当前页面为sub.example.com,则Cookie不会被附加到子域请求中。正确做法是设置domain='.example.com'(注意前导点),使其对所有子域可见。

Q2:如何处理__Host-前缀的Cookie?

此类Cookie要求:Secure、Path=/、No Domain。Selenium的add_cookie()不支持无domain字段。解决方案:

  1. 使用CDP命令:driver.execute_cdp_cmd('Network.setCookie', {'name': '__Host-session', 'value': '...', 'path': '/', 'secure': True});
  2. 或手动构造Set-Cookie响应头(需代理工具如mitmproxy)。

Q3:Cookie有效期如何管理?

Selenium的expiry字段为Unix时间戳(秒),但浏览器实际存储的expires是ISO 8601字符串。推荐做法:int(time.time()) + 3600 * 24,并定期刷新。对于长期任务,建议:

Q4:如何绕过“登录态强制过期”策略?

部分网站在检测到异常行为(如IP切换、设备变更)后,会强制使所有Cookie失效。应对方案:

  1. 模拟真实用户行为:随机化请求间隔、模拟鼠标移动;
  2. 使用代理IP池轮换,避免单一出口IP被封;
  3. 在Cookie注入前,先访问/robots.txt、/sitemap.xml等非敏感页面,建立“正常用户”行为链。

高级技巧——从入门到专家的跃迁路径

① Cookie与LocalStorage联合注入

许多现代网站(如React/Vue应用)将Token存于localStorage而非Cookie。注入时需同步操作:

driver.execute_script('localStorage.setItem("token", "eyJhbGciOiJIUzI1NiIs...");')

② 使用Chrome Profile复用Cookie

通过启动参数指定用户数据目录,使Selenium复用浏览器缓存的Cookie:

options.add_argument('--user-data-dir=/path/to/chrome/profile')
options.add_argument('--profile-directory=Default')

首次登录后,后续脚本无需重复注入,直接启动即携带会话状态。

③ 动态调整Cookie属性

针对不同网站的反爬策略,可动态修改Cookie参数:

🚀

性能优化

批量注入Cookie时,使用execute_cdp_cmd比add_cookie快3倍以上,且支持并行执行。但需注意:CDP命令需在driver.get()后调用,否则会抛出session not created错误。

网友们还关心:与Python Selenium爬虫添加Cookies强相关的周边知识

① Cookie与Session的底层关系

Cookie是客户端存储,Session是服务端存储。当服务端生成Session ID后,通过Set-Cookie下发至客户端。后续请求中,客户端自动附加Cookie,服务端据此查找对应Session数据。因此,Python Selenium 爬虫添加Cookies本质是复用服务端已建立的Session。

② 如何识别关键Cookie字段?

在浏览器开发者工具中,重点关注:

③ 与Selenium反检测的协同策略

注入Cookie时需同步隐藏自动化特征:

登录态管理
多账号复用
分布式会话

登录态自动刷新机制

构建会话健康检查系统:定期请求/api/health接口,若返回status: 'unauthorized',则触发刷新流程。关键代码:

def refresh_session_if_expired(driver, session_cache):
    profile = driver.get('https://target.com/api/profile')
    if profile.status_code == 401:
        new_cookies = get_new_cookies_via_refresh_token(session_cache['refresh_token'])
        save_session_cookies(driver, 'session.json')
        load_session_cookies(driver, 'session.json')

多账号Cookie池设计

为避免单账号触发风控,需维护账号矩阵。每个账号对应独立Cookie池,通过负载均衡轮询使用。设计要点:

  • 使用Redis Sorted Set存储,score为会话剩余时间;
  • Worker启动时,从高分账户中随机选取;
  • 会话失效时,自动降级至备用账户。

跨进程Cookie同步

在多进程爬虫中,通过共享内存或Redis同步Cookie。例如:

# 主进程
redis.set('cookie:worker1', json.dumps(cookies), ex=3600)
# Worker进程
raw = redis.get('cookie:worker1')
if raw:
    cookies = json.loads(raw)
    for c in cookies:
        driver.add_cookie(c)

完整实战案例——从0到1构建稳定爬虫系统

案例背景

某招聘网站要求登录后才能访问职位详情页,且采用动态Token机制(X-CSRF-Token需从Cookie中提取)。目标:批量抓取岗位信息,支持100+账号并发。

解决方案

  1. 手动登录获取完整Cookie与X-CSRF-Token;
  2. 编写CookieManager类管理会话池;
  3. 注入时同步localStorage中的csrf_token;
  4. 添加请求头:Referer: https://target.com与Origin: https://target.com。
class CookieManager:
    def __init__(self, redis_client):
        self.redis = redis_client
    def get_valid_cookie(self, account_id):
        key = f'cookie:{account_id}'
        raw = self.redis.get(key)
        if not raw:
            raise ValueError('No valid cookie')
        cookies = json.loads(raw)
        # 过滤过期Cookie
        now = int(time.time())
        return [c for c in cookies if not c.get('expiry') or c['expiry'] > now]
    def refresh_cookie(self, account_id):
        # 通过refresh_token获取新会话
        new_cookies = self._get_new_session(account_id)
        self.redis.setex(f'cookie:{account_id}', 3600, json.dumps(new_cookies))
        return new_cookies

结果与优化

📌

经验总结

Python Selenium 爬虫添加Cookies不是孤立操作,必须与请求头、本地存储、反检测策略协同设计。建议将Cookie管理封装为独立模块,实现可配置、可监控、可扩展的会话生命周期管理。