网站导航:首页 基础 详解 模拟 反爬 会话 进阶 问答 相关

python requests 请求头|全面解析与实战指南

深入掌握HTTP请求头控制技术,构建专业级网络请求能力

网站介绍与内容概览

在当今数据驱动的互联网生态中,Python requests 请求头控制已成为网络开发、自动化测试、爬虫构建等场景中不可或缺的核心技能。本页面系统梳理了requests库请求头配置的完整知识体系,从基础概念到高级实践,覆盖所有开发者在真实项目中可能遇到的典型场景与挑战。

本指南特别聚焦于请求头(Headers)的精细化控制,深入解析HTTP协议中关键字段的语义、默认行为、兼容性陷阱及安全考量。通过大量真实代码示例、配置对比表与调试技巧,帮助读者构建扎实的HTTP请求头知识体系。

本指南核心价值

  • ⚡ 提供20+种请求头字段的详细说明与使用场景
  • ⚙️ 包含15+个可直接运行的requests请求头配置代码案例
  • 〔〕覆盖常见反爬策略(User-Agent伪装、Referer伪造、Cookie注入)
  • 〈〉详解Content-Type与Accept类型组合的正确使用方式
  • 《》完整解析Session与Cookie管理中的请求头继承机制

无论您是Python初学者还是资深开发者,本指南都将助您精准掌握requests库请求头控制技术,显著提升网络请求的可靠性、隐蔽性与可维护性。

requests请求头基础概念

在HTTP协议中,请求头(Headers)是客户端向服务器传递元信息的关键载体。requests库通过headers参数接收字典对象,用于自定义HTTP请求头字段。理解请求头机制是构建健壮网络请求的基础。

请求头的三层结构

  1. 通用头:适用于所有HTTP消息(如Cache-Control、Connection)
  2. 请求头:描述客户端请求资源的附加信息(如User-Agent、Accept)
  3. 实体头:描述消息主体的元数据(如Content-Type、Content-Length)

requests库默认提供部分请求头字段(如User-Agent、Accept-Encoding),但这些默认值常被服务器用于识别自动化请求,因此在实际项目中通常需要自定义请求头以模拟真实用户行为。

请求头配置的三种方式

1. 单次请求局部配置

最常用方式:在单次请求时通过headers参数传入字典对象:

import requests
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    'Accept': 'text/html,application/xhtml+xml'
}
response = requests.get('https://httpbin.org/headers', headers=headers)
print(response.json())

此方式仅影响当前请求,不影响后续请求。

2. Session全局配置

创建Session对象并设置headers属性,适用于需要保持会话状态的连续请求:

session = requests.Session()
session.headers.update({
    'User-Agent': 'Custom-Client/1.0',
    'Accept-Language': 'zh-CN,zh;q=0.9'
})
response1 = session.get('https://example.com/api1')
response2 = session.get('https://example.com/api2')

Session中的headers会自动应用于所有后续请求,可被单次请求的headers参数覆盖。

3. 通过适配器(Adapter)配置

高级用法:通过自定义HTTPAdapter在连接层面注入请求头,适用于需要全局统一请求头的场景:

from requests.adapters import HTTPAdapter
from requests.sessions import Session
class CustomAdapter(HTTPAdapter):
    def send(self, request, **kwargs):
        request.headers['X-Custom-Header'] = 'Global-Value'
        return super().send(request, **kwargs)
session = Session()
session.mount('https://', CustomAdapter())
response = session.get('https://httpbin.org/headers')

此方式需谨慎使用,通常仅用于特殊调试需求。

核心请求头字段详解

以下为requests项目中高频使用的请求头字段,每项均附带语义说明、典型值、使用场景及注意事项。

1. User-Agent:客户端身份标识

用于标识发起请求的客户端软件(浏览器、爬虫、APP等)。服务器据此返回适配的响应内容。

典型值对比

类型User-Agent字符串示例
Chrome (Windows)Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
Safari (iOS)Mozilla/5.0 (iPhone; CPU iPhone OS 17_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Mobile/15E148 Safari/604.1
Python-requestspython-requests/2.31.0
⚠️ 注意事项:部分网站会拒绝非浏览器User-Agent的请求。建议使用真实浏览器User-Agent字符串,并定期更新以避免过期风险。

2. Accept:客户端可接受的内容类型

指定客户端能够处理的响应内容类型(MIME类型),服务器据此决定返回HTML、JSON或二进制流。

常见Accept组合

场景Accept值说明
浏览器HTML请求text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,**明确要求JSON格式响应
通用兼容请求**;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', 'Accept-Encoding': 'gzip, deflate, br', 'Connection': 'keep-alive', 'Upgrade-Insecure-Requests': '1', 'Sec-Fetch-Dest': 'document', 'Sec-Fetch-Mode': 'navigate', 'Sec-Fetch-Site': 'none', 'Sec-Fetch-User': '?1', 'Cache-Control': 'max-age=0' }

关键字段作用解析

字段作用模拟必要性
Sec-Fetch-*现代浏览器安全策略标识⭐⭐⭐⭐ 高
Accept-Encoding支持的压缩方式(gzip/br)⭐⭐⭐⭐ 高
Upgrade-Insecure-Requests请求HTTPS升级⭐⭐⭐ 中
Sec-CH-UA客户端版本信息(新标准)⭐⭐ 低(部分网站要求)
💡 实用技巧:使用浏览器开发者工具(F12 → Network标签)可直接复制请求头。右键请求 → Copy → Copy as cURL,再转换为Python代码(可用curlconverter.com在线工具)。

移动端请求头模拟

针对移动端页面(如m.jd.com),需使用移动端User-Agent并调整Accept字段:

mobile_headers = {
    'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 17_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Mobile/15E148 Safari/604.1',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'X-Requested-With': 'XMLHttpRequest'  # 模拟AJAX请求
}

反爬策略中的请求头应用

现代网站常通过请求头特征识别自动化请求。以下为常见反爬机制及应对策略:

1. User-Agent检测

服务器检查User-Agent是否为已知浏览器。解决方案:

  • 使用真实浏览器User-Agent字符串
  • 定期轮换User-Agent(模拟多用户行为)
  • 避免使用过期版本(如Chrome 90在2024年易被识别)

User-Agent轮换示例

import random
ua_list = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Safari/605.1.15',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0'
]
headers = {'User-Agent': random.choice(ua_list)}

2. Referer校验

服务器验证请求来源页面是否合法。解决方案:

  • 设置Referer为合法来源URL(如搜索结果页)
  • 使用空Referer绕过(部分网站允许)
  • 通过代理隐藏Referer
headers = {
    'Referer': 'https://www.google.com/search?q=python+requests',
    'Origin': 'https://www.google.com'
}

3. 请求头完整性检查

服务器检查关键请求头是否缺失(如Accept-Language缺失)。解决方案:

  • 使用浏览器开发者工具复制完整请求头
  • 保留所有Sec-Fetch-*字段
  • 避免自定义非标准字段

请求头完整性验证

使用httpbin.org测试请求头是否被正确传递:

import requests
headers = {'User-Agent': 'Custom-Bot/1.0', 'X-Custom': 'value'}
response = requests.get('https://httpbin.org/headers', headers=headers)
print(response.json()['headers'])  # 检查所有传递的请求头

4. 高级反爬:TLS指纹伪装

部分网站通过TLS指纹识别自动化工具(如Selenium、requests)。解决方案:

  • 使用playwright/selenium模拟真实浏览器
  • 使用requests-toolbelt处理复杂TLS握手
  • 部署云函数(如Cloudflare Workers)中转请求

Session与Cookie管理

requests的Session对象自动管理Cookie,实现跨请求状态保持。核心机制:服务器通过Set-Cookie响应头下发Cookie,客户端后续请求自动附带Cookie。

Session自动Cookie管理演示

import requests
session = requests.Session()
# 第一次请求:登录并接收Cookie
login_data = {'username': 'user', 'password': 'pass'}
session.post('https://example.com/login', data=login_data)
# 第二次请求:自动携带Cookie
response = session.get('https://example.com/profile')
print(response.request.headers['Cookie'])  # 显示自动设置的Cookie

Cookie操作进阶

获取Cookie
修改Cookie
删除Cookie

Cookie安全属性处理

服务器可通过Set-Cookie设置Secure、HttpOnly等属性:

  • Secure:仅HTTPS传输(requests自动遵守)
  • HttpOnly:禁止JS访问(requests正常处理,不影响请求)
  • SameSite:控制跨站请求携带(Lax/Strict/None)
⚠️ 注意:SameSite=None必须配合Secure属性使用,否则浏览器会拒绝Cookie。

高级场景与调试技巧

1. 动态请求头生成

根据请求时间/参数动态生成请求头(如签名header):

import time, hashlib
def sign_request(url, method='GET'):
    timestamp = str(int(time.time()))
    payload = f"{method}|{url}|{timestamp}"
    signature = hashlib.md5(payload.encode()).hexdigest()
    return {'X-Signature': signature, 'X-Timestamp': timestamp}
headers = sign_request('https://api.example.com/data')
response = requests.get('https://api.example.com/data', headers=headers)

2. 调试请求头问题

请求头调试四步法

  1. 使用print(response.request.headers)检查实际发送的请求头
  2. 对比浏览器开发者工具中的请求头
  3. 检查Session中是否残留历史Cookie
  4. 使用requests.utils.dict_from_cookiejar()查看Cookie状态

3. 请求头冲突处理

当headers参数与Session.headers同时存在时,单次请求的headers优先级更高:

session = requests.Session()
session.headers['User-Agent'] = 'Session-Agent'
# 此请求使用'Custom-Agent'而非'Session-Agent'
response = session.get('https://example.com', headers={'User-Agent': 'Custom-Agent'})

4. 自定义请求头优先级

通过适配器实现全局请求头注入(需注意性能影响):

class HeaderAdapter(HTTPAdapter):
    def add_headers(self, request, **kwargs):
        super().add_headers(request, **kwargs)
        request.headers['X-Global-Header'] = 'Injected'
session = requests.Session()
session.mount('https://', HeaderAdapter())

常见问题解答(FAQ)

Q1:为什么设置了User-Agent仍被识别为爬虫?

A:现代反爬不仅检查User-Agent,还需完整模拟浏览器行为。请检查:

  • 是否添加了Sec-Fetch-*系列字段
  • Accept-Encoding是否包含浏览器支持的压缩方式
  • 是否使用Session保持会话(避免频繁切换IP)
  • 请求间隔是否合理(建议≥2秒)
Q2:Content-Type设置错误会导致什么问题?

A:服务器可能无法正确解析请求体,导致:

  • 表单数据被忽略(如POST空参数)
  • JSON数据被当作字符串处理
  • 文件上传失败(缺少boundary分隔符)
  • 返回400 Bad Request错误

✅ 正确做法:使用data参数自动处理application/x-www-form-urlencoded;使用json参数自动处理application/json。

Q3:如何清除Session中的所有Cookie?

A:使用session.cookies.clear(),但注意:

  • 仅清除当前Session管理的Cookie
  • 不影响其他域的Cookie
  • 不清除浏览器本地Cookie

完整清除代码:session.cookies.clear(); session.headers.pop('Cookie', None)

Q4:Referer为空会导致请求失败?

A:部分网站(如CDN资源站)要求Referer必须存在。解决方案:

  • 设置Referer为同域名URL(如'/')
  • 使用空字符串(部分服务器接受)
  • 通过代理隐藏Referer(需服务端支持)

© 2026 Python技术研究中心 | www.xservx.com

蜀ICP备2026035467号-3