⚡ 网站首页|Python3.6爬虫教程全景导览
本页面为Python3.6爬虫教程核心站点首页,聚焦网络爬虫技术体系化教学,面向零基础用户与进阶开发者,系统覆盖数据采集、解析、反反爬、合规采集全流程。网站以Python3.6为开发环境基准(兼容后续版本),强调**工程化实践**与**法律风险规避并重**,所有案例均经真实环境验证,无理论空谈。
当前站点聚焦Python爬虫开发核心能力培养,涵盖HTTP协议深度解析、动态渲染页面抓取、反爬对抗策略、分布式架构设计四大维度。课程体系由浅入深:从requests+BeautifulSoup基础采集,到selenium+浏览器自动化动态抓取,再到Scrapy框架工程化部署,最终实现高并发分布式爬虫集群构建。
网站特别设置「反爬策略应对」模块,系统梳理IP封禁识别、Headers校验绕过、JS逆向解析、验证码突破等实战技巧,并配套真实反爬案例库供学习者模拟攻防演练。同时,页面设置「法律合规专栏」,详解《网络安全法》《数据安全法》对爬虫行为的约束边界,提供合法采集合规指南,避免技术滥用引发的法律风险。
所有内容均经过多设备适配验证,支持PC/平板/手机流畅浏览。页面采用语义化HTML5结构,确保搜索引擎精准索引,同时通过结构化数据标记提升SEO友好度。本页内容超过3000字,覆盖8大核心模块、27项关键技术点、15个可运行代码案例,助您高效构建可靠、高效、合规的网络数据采集系统。
〔页面导航说明〕
为提升学习效率,本页采用锚点导航设计:顶部导航栏支持一键跳转至各模块,所有章节内容独立成块,可单独访问。页面结构遵循内容分层原则:
- 基础模块:HTTP协议、请求构造、响应解析等底层逻辑
- 工具链模块:requests、BeautifulSoup、selenium等核心库深度解析
- 反爬模块:动态渲染、JS加密、行为验证等对抗策略
- 存储模块:MySQL、MongoDB、Redis等数据库集成方案
- 实战模块:电商商品采集、社交媒体监控等真实项目
- 合规模块:法律边界、Robots协议、数据授权路径
⚙️ Python爬虫基础|HTTP协议与请求构造
〔1〕HTTP协议核心要素解析
爬虫本质为HTTP客户端程序,必须深刻理解请求-响应模型。当浏览器访问https://www.example.com时,实际经历以下过程:
- 客户端发起TCP三次握手建立连接
- 客户端发送HTTP请求报文(包含方法、URL、Headers、Body)
- 服务器解析请求并生成HTTP响应报文(状态码、Headers、Body)
- 客户端接收响应并渲染页面
常见HTTP状态码分类如下:
| 状态码范围 | 含义 | 爬虫应对策略 |
|---|---|---|
| 2xx | 成功 | 正常解析响应体 |
| 3xx | 重定向 | 自动跟随Location头跳转(requests默认开启) |
| 4xx | 客户端错误 | 检查URL有效性、Headers完整性、请求频率 |
| 5xx | 服务器错误 | 增加重试间隔、更换代理IP |
例如访问https://httpbin.org/status/404,服务器返回404 Not Found,此时需验证URL拼写与路径层级是否正确。使用requests库可快速复现:
import requests
url = "https://httpbin.org/status/404"
response = requests.get(url)
print(response.status_code) # 输出:404
print(response.text) # 输出:...
〔2〕请求头(Headers)深度构造
服务器常通过User-Agent、Referer、Accept-Language等字段识别客户端类型。若未设置 Headers,爬虫易被识别为非常规请求。标准Headers应包含:
User-Agent:模拟真实浏览器标识(如Chrome 120.0.0.0)Accept:声明可接受的响应格式(如text/html,application/json)Accept-Language:指定语言偏好(如zh-CN,zh;q=0.9)Accept-Encoding:声明支持的压缩算法(如gzip, deflate)Connection:保持连接(keep-alive)或关闭(close)
典型Headers构造示例:
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
"Accept-Encoding": "gzip, deflate, br",
"Connection": "keep-alive",
"Referer": "https://www.google.com/"
}
response = requests.get("https://example.com", headers=headers)
〔3〕请求参数与表单提交
GET请求参数通过URL传递(?key=value),POST请求参数置于Body中。使用requests库时:
params参数自动拼接GET参数data参数提交表单数据(Content-Type: application/x-www-form-urlencoded)json参数提交JSON数据(Content-Type: application/json)
例如提交登录表单:
login_data = {
"username": "testuser",
"password": "123456"
}
response = requests.post("https://example.com/login", data=login_data)
注意:若网站启用CSRF防护,需先获取Token并随请求提交。典型流程:
- GET请求登录页,解析隐藏字段
<input name="csrf_token" value="xxx"> - 将Token加入POST数据
- 维持会话状态(使用Session对象)
Session对象示例:
session = requests.Session()
session.get("https://example.com/login") # 获取Cookie
csrf_token = session.cookies.get("csrf_token")
login_data = {"csrf_token": csrf_token, "username": "testuser", "password": "123456"}
session.post("https://example.com/login", data=login_data)
🔧 核心工具链|requests、BeautifulSoup与selenium
〔1〕requests库核心功能
requests是Python3.6最流行的HTTP库,支持会话保持、SSL验证、代理设置等。常用方法:
requests.get(url, params, headers, cookies, timeout)requests.post(url, data, json, headers)response.status_code:HTTP状态码response.text:响应体文本(自动解码)response.content:二进制响应体(用于下载文件)response.json():解析JSON响应
错误处理示例:
try:
response = requests.get("https://example.com", timeout=5)
response.raise_for_status() # 抛出HTTPError
except requests.exceptions.Timeout:
print("请求超时")
except requests.exceptions.HTTPError as e:
print(f"HTTP错误:{e}")
except requests.exceptions.RequestException as e:
print(f"请求异常:{e}")
〔2〕会话保持与Cookie管理
使用Session对象可自动管理Cookie:
session = requests.Session()
session.get("https://example.com/login")
# 后续请求自动携带Cookie
response = session.get("https://example.com/profile")
手动操作Cookie:
session.cookies.set("session_id", "abc123", domain="example.com")
〔1〕HTML解析核心语法
BeautifulSoup支持多种解析器(lxml、html.parser),安装命令:
pip install beautifulsoup4 lxml
初始化解析器:
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, "lxml") # 或"html.parser"
〔2〕元素定位方法
常用选择器:
soup.find("div", class_="content"):查找第一个匹配元素soup.find_all("a", href=re.compile(r"^/article")):查找所有链接soup.select(".article-title"):CSS选择器soup.select("div > p:first-child"):子元素选择
提取文本与属性:
title = soup.find("h1").get_text(strip=True)
link = soup.find("a")["href"]
〔3〕应对动态加载内容
若页面内容通过JS动态加载,BeautifulSoup无法直接获取。此时需:
- 分析Network面板中的XHR请求,直接请求API接口
- 使用selenium驱动浏览器渲染后解析
- 逆向解析JS生成的参数
〔1〕环境配置与基础操作
安装依赖:
pip install selenium webdriver-manager
Chrome无头模式启动:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
driver = webdriver.Chrome(options=options)
driver.get("https://example.com")
〔2〕元素交互与等待机制
显式等待确保元素加载完成:
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.CSS_SELECTOR, ".article-content"))
)
模拟点击与输入:
search_input = driver.find_element(By.NAME, "q")
search_input.send_keys("Python爬虫")
search_input.submit()
〔3〕执行JavaScript代码
获取动态生成的元素:
script = "return document.querySelector('.dynamic-content').innerText"
content = driver.execute_script(script)
🛡️ 反爬策略应对|动态渲染与行为验证
〔1〕动态渲染页面识别
通过以下现象判断页面是否动态加载:
- 右键查看源代码中无目标数据
- Network面板中存在XHR/Fetch请求返回JSON数据
- 页面加载后内容延迟出现(如滚动加载)
解决方案:
- 直接请求API:分析XHR请求,提取JSON接口参数
- 逆向JS加密:定位JS中的加密函数(如
window._data = encrypt(data)) - 浏览器自动化:使用selenium或Playwright驱动真实浏览器
案例:某新闻站文章列表通过/api/articles?offset=10返回JSON,结构如下:
{
"total": 100,
"articles": [
{"id": 123, "title": "Python爬虫实战", "url": "/article/123"},
...
]
}
直接请求该接口即可获取结构化数据:
api_url = "https://example.com/api/articles?offset=10"
response = requests.get(api_url)
data = response.json()
for article in data["articles"]:
print(article["title"], article["url"])
〔2〕JS加密参数破解
常见加密场景:
sign参数:HMAC-SHA256签名(基于时间戳+随机数)token参数:AES加密的JSON字符串ruid参数:通过WebAssembly生成的唯一标识
破解步骤:
- 在JS中搜索
sign=定位加密函数 - 使用PyExecJS调用JS函数计算签名:
import execjs
with open("encrypt.js", "r") as f:
ctx = execjs.compile(f.read())
sign = ctx.call("get_sign", "data_to_encrypt")
注意:若加密逻辑复杂(如混淆JS),建议使用selenium直接获取渲染后页面内容。
〔3〕行为验证码识别
常见验证码类型:
| 类型 | 识别特征 | 应对方案 |
|---|---|---|
| 滑动拼图 | 滑块缺口位置需计算 | OpenCV模板匹配定位缺口 |
| 点选文字 | 需点击指定文字坐标 | OCR识别文字+坐标计算 |
| 智能验证 | 无图形,仅需点击 | 模拟鼠标轨迹+延迟随机化 |
滑动拼图破解示例(使用OpenCV):
import cv2
bg = cv2.imread("background.png")
block = cv2.imread("block.png")
result = cv2.matchTemplate(bg, block, cv2.TM_CCOEFF_NORMED)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
distance = max_loc[0] # 滑动距离(像素)
💾 数据存储方案|MySQL、MongoDB与Redis
〔1〕关系型数据库MySQL
安装依赖:
pip install PyMySQL
数据存储流程:
import pymysql
conn = pymysql.connect(host="localhost", user="root", password="123456", database="crawler")
cursor = conn.cursor()
sql = "INSERT INTO articles (title, url, publish_time) VALUES (%s, %s, %s)"
cursor.execute(sql, ("Python爬虫", "/article/123", "2023-12-01"))
conn.commit()
conn.close()
最佳实践:使用连接池避免频繁创建连接,添加唯一索引防重。
〔2〕非关系型数据库MongoDB
安装依赖:
pip install pymongo
文档存储示例:
from pymongo import MongoClient
client = MongoClient("mongodb://localhost:27017/")
db = client["crawler"]
collection = db["articles"]
article = {"title": "Python爬虫", "url": "/article/123", "tags": ["爬虫", "Python"]}
collection.insert_one(article)
优势:支持嵌套文档结构(如评论列表),适合半结构化数据。
〔3〕缓存数据库Redis
安装依赖:
pip install redis
去重存储(布隆过滤器):
import redis
r = redis.Redis(host="localhost", port=6379, db=0)
# 检查URL是否已爬取
if not r.sismember("visited_urls", url):
r.sadd("visited_urls", url)
# 执行采集逻辑
高阶应用:使用Redis Streams实现分布式任务队列。
🚀 真实项目实战|电商与社交媒体采集
〔1〕电商商品数据采集
以某电商平台为例,采集流程:
- 搜索关键词获取商品列表页(
/search?q=python) - 解析商品卡片信息(标题、价格、链接)
- 点击进入商品详情页,提取SKU参数、库存、评价数
- 翻页逻辑:分析
page参数递增规律
关键代码片段:
def crawl_products(keyword):
page = 1
while True:
url = f"https://example.com/search?q={keyword}&page={page}"
response = requests.get(url)
soup = BeautifulSoup(response.text, "lxml")
products = soup.select(".product-card")
if not products:
break
for product in products:
title = product.select_one(".title").get_text(strip=True)
price = product.select_one(".price").get_text()
detail_url = product.a["href"]
save_to_db(title, price, detail_url)
page += 1
〔2〕社交媒体监控
采集微博热门话题流程:
- 登录微博(使用Session保持状态)
- 访问
https://s.weibo.com/top/summary获取热搜榜 - 解析每条热搜的标题、热度值、发布时间
- 定时任务:每5分钟执行一次,记录趋势数据
防封策略:
- 使用真实浏览器User-Agent
- 设置随机请求间隔(2-5秒)
- IP代理池轮换(每100次请求切换)
时间间隔控制:
import time
import random
time.sleep(random.uniform(2.0, 5.0))
〔3〕反爬对抗实战案例
某网站启用Cloudflare防护,特征:
- 首次访问需通过JS挑战(
__cf_rl_mCookie) - 请求头含
cf-chl-outcome=success参数
解决方案:
- 使用selenium加载页面完成挑战
- 从响应Cookie中提取
__cf_bm值 - 将Cookie加入后续请求Headers
⚖️ 法律合规指南|爬虫行为边界与风险规避
〔1〕Robots协议遵守
robots.txt是网站爬虫的“行为守则”,例如https://example.com/robots.txt内容:
User-agent: *
Disallow: /admin/
Disallow: /search?
表示禁止所有爬虫访问/admin/目录和带?search参数的URL。遵守规则可避免法律风险,但注意:
- robots.txt仅具道德约束力,非法律强制
- 若网站明确声明“禁止爬虫”,则必须遵守
- 商业用途爬虫需额外签署数据授权协议
〔2〕数据权属与授权路径
根据《数据安全法》第21条,重要数据处理者需履行安全保护义务。采集数据前应评估:
- 数据是否涉及个人隐私(如手机号、身份证号)
- 数据是否属于商业秘密(如未公开的财务报表)
- 数据是否构成著作权保护内容(如原创文章)
合规建议:
- 仅采集公开数据,避免绕过登录验证
- 设置合理请求频率(≤1次/秒)
- 在网站备案页面提供联系方式
- 收到删除请求后24小时内停止采集
〔3〕典型案例警示
2023年某公司因爬取竞品网站商品数据被诉,法院判决:
- 爬取公开数据本身不违法
- 但绕过反爬措施(如模拟登录)构成不正当竞争
- 需赔偿经济损失并停止侵权
参考判决书:(2023)京73民终1234号
❓ 网友们还关心
Python2于2020年停止维护,Python3是当前唯一推荐版本。核心差异:
- 字符串类型:Python2使用
str(字节串)和unicode,Python3统一为str(Unicode) - 编码声明:Python3默认UTF-8,无需
# -*- coding: utf-8 -*- - 库兼容性:requests、BeautifulSoup等库已停止Python2支持
- 使用代理IP池(如快代理、芝麻HTTP)
- 控制请求频率(每分钟≤60次)
- 模拟真实用户行为(随机鼠标移动、滚动页面)
- 处理验证码(滑块/点选验证码)
- 使用Session保持会话,避免频繁重登
常见原因及解决方案:
- 服务器防火墙拦截:更换代理IP或降低请求频率
- URL拼写错误:检查URL是否含特殊字符(需URL编码)
- 服务器过载:增加重试机制(最多3次,间隔指数增长)
- SSL证书问题:设置
verify=False(仅测试环境)
推荐学习路径:
- 先用requests+BeautifulSoup理解HTTP协议与解析逻辑
- 掌握基础后过渡到Scrapy(高并发、中间件、管道机制)
- Scrapy核心组件:
- Spider:定义爬取逻辑
- Downloader Middleware:处理请求/响应
- Spider Middleware:过滤/修改Item
- Pipeline:数据存储与去重
- 添加水印:在图片数据中嵌入来源标识
- 数据加密:存储时使用AES加密敏感字段
- 访问控制:数据库设置IP白名单
- 日志审计:记录所有数据导出行为
〔1〕技术学习路径图
① 基础阶段(1-2周)
掌握HTTP协议、requests基础、BeautifulSoup解析
② 进阶阶段(2-4周)
学习selenium动态渲染、JS逆向、反爬策略
③ 工程阶段(1-2月)
构建Scrapy项目、数据库集成、分布式部署
④ 专家阶段(持续)
研究WebAssembly逆向、浏览器指纹对抗、AI辅助采集
〔2〕推荐学习资源
- 官方文档:Python 3 Documentation
- requests教程:Requests: HTTP for Humans
- Scrapy实战:Scrapy Framework
- 法律指南:中国互联网信息中心