一、免登录技术原理深度剖析
1.1 会话机制与Cookie基础
HTTP协议本身是无状态的,因此网站通过Cookie机制维持用户会话状态。当用户成功登录后,服务器会在响应头中设置Set-Cookie字段,浏览器将其存储并在后续请求中自动附带,从而实现身份识别。
在Python Selenium免登录实践中,开发者可利用Selenium的get_cookies()与add_cookie()方法实现Cookie的提取与注入。典型流程为:先以正常用户行为模拟登录过程,获取完整Cookie集合;再将该集合注入到新的会话中,实现免登录访问。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
driver.get('https://example.com/login')
# 模拟登录
driver.find_element('id', 'username').send_keys('user')
driver.find_element('id', 'password').send_keys('pass')
driver.find_element('id', 'login-btn').click()
# 获取登录后的Cookie
cookies = driver.get_cookies()
print(f'成功获取{len(cookies)}个Cookie')
# 注入Cookie到新会话
new_driver = webdriver.Chrome(options=options)
for cookie in cookies:
# 移除domain字段(部分网站要求)
if 'domain' in cookie:
del cookie['domain']
new_driver.add_cookie(cookie)
new_driver.get('https://example.com/dashboard')
值得注意的是,部分网站对Cookie的domain属性有严格校验(如设置为.example.com),直接注入可能导致无效。此时需手动修正domain字段,或采用更底层的浏览器协议(CDP)进行Cookie注入。
1.2 LocalStorage与SessionStorage操作
现代Web应用越来越多地使用LocalStorage和SessionStorage存储会话令牌(如JWT),替代传统Cookie机制。在Python Selenium免登录中,需通过execute_script()执行JavaScript代码操作这些存储。
例如,某些网站将用户令牌存储在localStorage['auth_token']中,开发者可先从已登录会话中提取该值,再注入到新会话中:
# 从已登录会话中提取LocalStorage
auth_token = driver.execute_script('return localStorage.getItem("auth_token");')
# 注入到新会话
new_driver.execute_script(f'localStorage.setItem("auth_token", "{auth_token}");')
new_driver.get('https://example.com/profile')
需特别注意:LocalStorage数据具有同源策略限制,必须确保domain、protocol、port完全一致,否则注入无效。此外,部分网站采用加密存储或动态密钥,需结合逆向分析获取解密逻辑。
1.3 IndexedDB与Web SQL数据库处理
对于采用IndexedDB存储会话信息的复杂Web应用(如钉钉、企业微信),需通过JavaScript API进行数据提取与恢复。IndexedDB是异步数据库,需使用Promise封装同步操作:
def get_indexeddb_data(driver, db_name, store_name):
script = f"""
return new Promise((resolve, reject) => {{
const request = indexedDB.open("{db_name}");
request.onupgradeneeded = function(event) {{
event.target.result.createObjectStore("{store_name}");
}};
request.onsuccess = function(event) {{
const db = event.target.result;
const transaction = db.transaction(["{store_name}"], "readonly");
const objectStore = transaction.objectStore("{store_name}");
const getAllRequest = objectStore.getAll();
getAllRequest.onsuccess = function() {{
resolve(getAllRequest.result);
}};
getAllRequest.onerror = function() {{
reject("Failed to read data");
}};
}};
request.onerror = function() {{
reject("Database error");
}};
}});
"""
return driver.execute_script(script)
该方法可提取完整IndexedDB数据结构,再通过set_indexeddb_data()函数注入到新会话中,实现会话状态的完整迁移。实际应用中,建议结合Chrome DevTools Protocol(CDP)进行更精细的数据库操作。
二、主流免登录场景分类详解
2.1 基于Cookie的免登录方案
适用于传统基于Cookie认证的网站(如百度、知乎、GitHub)。核心步骤包括:
- 启动浏览器,模拟人工登录流程
- 等待登录成功标志(如URL跳转、特定元素出现)
- 提取Cookie集合,保存至本地文件
- 下次启动时,加载Cookie并注入新会话
关键优化点:
- 使用Chrome Profile目录持久化Cookie(避免每次重新登录)
- 设置Cookie过期时间(max-age)延长会话有效期
- 处理SameSite属性(Strict/Lax/None)兼容性问题
2.2 基于Token的免登录方案
适用于采用JWT等Token机制的网站(如阿里云、腾讯云、部分企业内部系统)。Token通常以Bearer形式放在Authorization请求头中:
# 提取JWT Token
token = driver.execute_script('return localStorage.getItem("access_token");')
# 设置请求头
headers = {'Authorization': f'Bearer {token}'}
driver.get('https://api.example.com/data')
需注意:Selenium原生不支持自定义请求头,需通过Chrome DevTools Protocol实现:
# 启用网络拦截
driver.execute_cdp_cmd('Network.enable', {})
# 设置请求头拦截
driver.execute_cdp_cmd('Network.setRequestInterception', {'patterns': [{'urlPattern': '**/*'}]})
# 注入请求头
def on_request(params):
request_id = params['requestId']
request = params['request']
request['headers']['Authorization'] = f'Bearer {token}'
driver.execute_cdp_cmd('Network.continueInterceptedRequest',
{'requestId': request_id, 'request': request})
driver.add_listener('Network.requestIntercepted', on_request)
2.3 基于OAuth的免登录方案
适用于集成第三方登录的网站(如微信公众号、QQ登录)。典型流程为:
- 启动OAuth授权页面(如https://open.weixin.qq.com/connect/qrconnect)
- 通过二维码扫描完成授权
- 重定向至回调地址,获取授权码code
- 用code换取access_token
在Python Selenium免登录中,可结合PyQt/TKinter实现二维码扫描界面,通过pyzbar库识别二维码,自动化完成扫码授权流程:
from PIL import Image
from pyzbar.pyzbar import decode
import time
# 等待二维码加载
time.sleep(2)
screenshot = driver.get_screenshot_as_png()
with open('qrcode.png', 'wb') as f:
f.write(screenshot)
# 识别二维码
img = Image.open('qrcode.png')
barcodes = decode(img)
if barcodes:
url = barcodes[0].data.decode('utf-8')
# 模拟手机扫码
print(f'请用手机扫描:{url}')
更高效的方案是直接调用微信开放平台API,通过预授权链接生成带state参数的二维码,扫码后自动携带state值完成回调,实现无感知授权。
三、免登录核心技术技巧
3.1 浏览器指纹伪装
主流反爬系统会检测浏览器指纹特征(如navigator.userAgent、screen.width、plugins等)。需通过Chrome DevTools Protocol修改指纹参数:
# 修改User-Agent
driver.execute_cdp_cmd('Network.setUserAgentOverride', {
'userAgent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
})
# 修改屏幕分辨率
driver.execute_cdp_cmd('Emulation.setDeviceMetricsOverride', {
'width': 1920,
'height': 1080,
'deviceScaleFactor': 1,
'mobile': False
})
# 禁用自动填充
driver.execute_cdp_cmd('Browser.setDownloadBehavior', {
'behavior': 'deny',
'downloadPath': ''
})
更高级的方案是注入JavaScript脚本,覆盖关键API返回值:
driver.execute_script("""
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
});
Object.defineProperty(navigator, 'plugins', {
get: () => [{}, {}, {}]
});
""")
3.2 滑块验证码绕过技巧
针对常见的滑块验证码(如极验、点触),可采用以下策略:
- 使用OpenCV识别滑块缺口位置
- 模拟人类拖动轨迹(先加速后减速,加入随机抖动)
- 结合时间戳与鼠标移动速度生成行为特征
import cv2
import numpy as np
import time
def get_slider_offset(bg_image, slider_image):
# 读取背景图和滑块图
bg = cv2.imread(bg_image)
slider = cv2.imread(slider_image)
# 转换为灰度图
bg_gray = cv2.cvtColor(bg, cv2.COLOR_BGR2GRAY)
slider_gray = cv2.cvtColor(slider, cv2.COLOR_BGR2GRAY)
# 边缘检测
bg_edges = cv2.Canny(bg_gray, 100, 200)
slider_edges = cv2.Canny(slider_gray, 100, 200)
# 模板匹配
result = cv2.matchTemplate(bg_edges, slider_edges, cv2.TM_CCOEFF_NORMED)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
return max_loc[0]
# 模拟人类拖动
def human_move(element, distance):
action = ActionChains(driver)
action.click_and_hold(element).perform()
# 生成滑动轨迹
tracks = []
current = 0
mid = distance * 0.75
t = 0.1
v = 0
while current < distance:
if current < mid:
a = 2
else:
a = -3
v0 = v
v = v0 + a * t
move = v0 * t + 0.5 * a * t * t
current += move
tracks.append(round(move))
# 添加随机抖动
for track in tracks:
action.move_by_offset(track, np.random.randint(-2, 2))
time.sleep(0.01)
action.release().perform()
3.3 会话持久化方案
为避免频繁登录,可将Cookie与LocalStorage持久化到本地文件:
import json
import os
def save_session(driver, session_file):
session_data = {
'cookies': driver.get_cookies(),
'local_storage': driver.execute_script(
'return JSON.stringify(localStorage)'
),
'session_storage': driver.execute_script(
'return JSON.stringify(sessionStorage)'
)
}
with open(session_file, 'w', encoding='utf-8') as f:
json.dump(session_data, f, indent=2)
def load_session(driver, session_file):
with open(session_file, 'r', encoding='utf-8') as f:
session_data = json.load(f)
# 恢复Cookie
for cookie in session_data['cookies']:
if 'domain' in cookie:
del cookie['domain']
driver.add_cookie(cookie)
# 恢复LocalStorage
driver.execute_script(f'localStorage.clear(); localStorage.setItem({session_data["local_storage"][1:-1]});')
# 恢复SessionStorage
driver.execute_script(f'sessionStorage.clear(); sessionStorage.setItem({session_data["session_storage"][1:-1]});')
实际应用中需定期刷新会话(如每24小时),并处理Cookie过期异常,确保系统长期稳定运行。
五、典型实战案例
5.1 企业微信自动打卡
需求背景:某企业需为500+员工实现自动打卡,避免因网络问题导致打卡失败。
解决方案:
- 使用Selenium模拟登录企业微信管理后台
- 通过CDP获取加密的auth_token
- 调用企业微信API完成打卡操作
- 部署至服务器,定时执行(配合Cron)
# 核心代码片段
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get('https://work.weixin.qq.com/wework_admin/loginpage')
# 扫码登录
wait = WebDriverWait(driver, 30)
wait.until(EC.url_contains('my'))
# 获取加密Token
token = driver.execute_script('return localStorage.getItem("token");')
# 调用API打卡
import requests
headers = {'Authorization': f'Bearer {token}'}
response = requests.post(
'https://qyapi.weixin.qq.com/cgi-bin/attendance/clock',
headers=headers,
json={'useridlist': ['EMP001', 'EMP002']}
)
效果:打卡成功率从82%提升至99.7%,人工干预次数减少95%。
5.2 知乎内容采集系统
需求背景:实时监控知乎热榜话题,采集高赞回答并生成摘要报告。
技术难点:知乎采用动态加载+反爬机制,需绕过登录限制。
解决方案:
- 使用Chrome Profile持久化登录态
- 集成Selenium Wire拦截API请求
- 通过WebSocket订阅实时话题更新
from seleniumwire import webdriver
import json
driver = webdriver.Chrome()
driver.get('https://www.zhihu.com/hot')
# 拦截热榜API
for request in driver.requests:
if 'hot' in request.url and request.response:
data = json.loads(request.response.body)
for item in data['data']:
print(f"话题:{item['title']}")
print(f"热度:{item['hotScore']}")
print(f"链接:{item['target']['url']}")
break
数据产出:每日采集热榜话题128个,高赞回答216篇,准确率98.2%。
5.3 京东价格监控系统
需求背景:监控竞品商品价格变动,触发自动调价策略。
技术亮点:
- 使用Selenium Grid实现分布式采集
- 集成Redis缓存避免重复请求
- 通过代理IP池规避IP封禁
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.proxy import Proxy, ProxyType
import redis
# 配置代理
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = '123.45.67.89:8080'
proxy.ssl_proxy = '123.45.67.89:8080'
options = Options()
options.add_argument('--proxy-server=http://123.45.67.89:8080')
driver = webdriver.Chrome(options=options)
driver.get('https://item.jd.com/100012345678.html')
# 采集价格
price = driver.find_element('class name', 'p-price').text
print(f'当前价格:¥{price}')
# 写入Redis
r = redis.Redis(host='localhost', port=6379, db=0)
r.hset('jd_prices', '100012345678', price)
系统运行3个月,覆盖商品12万+,价格更新延迟<2分钟。