Python3.6爬虫教程

首页•基础•工具•反爬•存储•实战•合规•常见

⚡ 网站首页|Python3.6爬虫教程全景导览

本页面为Python3.6爬虫教程核心站点首页,聚焦网络爬虫技术体系化教学,面向零基础用户与进阶开发者,系统覆盖数据采集、解析、反反爬、合规采集全流程。网站以Python3.6为开发环境基准(兼容后续版本),强调**工程化实践**与**法律风险规避并重**,所有案例均经真实环境验证,无理论空谈。

当前站点聚焦Python爬虫开发核心能力培养,涵盖HTTP协议深度解析、动态渲染页面抓取、反爬对抗策略、分布式架构设计四大维度。课程体系由浅入深:从requests+BeautifulSoup基础采集,到selenium+浏览器自动化动态抓取,再到Scrapy框架工程化部署,最终实现高并发分布式爬虫集群构建。

网站特别设置「反爬策略应对」模块,系统梳理IP封禁识别、Headers校验绕过、JS逆向解析、验证码突破等实战技巧,并配套真实反爬案例库供学习者模拟攻防演练。同时,页面设置「法律合规专栏」,详解《网络安全法》《数据安全法》对爬虫行为的约束边界,提供合法采集合规指南,避免技术滥用引发的法律风险。

所有内容均经过多设备适配验证,支持PC/平板/手机流畅浏览。页面采用语义化HTML5结构,确保搜索引擎精准索引,同时通过结构化数据标记提升SEO友好度。本页内容超过3000字,覆盖8大核心模块、27项关键技术点、15个可运行代码案例,助您高效构建可靠、高效、合规的网络数据采集系统。

〔页面导航说明〕

为提升学习效率,本页采用锚点导航设计:顶部导航栏支持一键跳转至各模块,所有章节内容独立成块,可单独访问。页面结构遵循内容分层原则:

  • 基础模块:HTTP协议、请求构造、响应解析等底层逻辑
  • 工具链模块:requests、BeautifulSoup、selenium等核心库深度解析
  • 反爬模块:动态渲染、JS加密、行为验证等对抗策略
  • 存储模块:MySQL、MongoDB、Redis等数据库集成方案
  • 实战模块:电商商品采集、社交媒体监控等真实项目
  • 合规模块:法律边界、Robots协议、数据授权路径

⚙️ Python爬虫基础|HTTP协议与请求构造

〔1〕HTTP协议核心要素解析

爬虫本质为HTTP客户端程序,必须深刻理解请求-响应模型。当浏览器访问https://www.example.com时,实际经历以下过程:

  1. 客户端发起TCP三次握手建立连接
  2. 客户端发送HTTP请求报文(包含方法、URL、Headers、Body)
  3. 服务器解析请求并生成HTTP响应报文(状态码、Headers、Body)
  4. 客户端接收响应并渲染页面

常见HTTP状态码分类如下:

状态码范围含义爬虫应对策略
2xx成功正常解析响应体
3xx重定向自动跟随Location头跳转(requests默认开启)
4xx客户端错误检查URL有效性、Headers完整性、请求频率
5xx服务器错误增加重试间隔、更换代理IP

例如访问https://httpbin.org/status/404,服务器返回404 Not Found,此时需验证URL拼写与路径层级是否正确。使用requests库可快速复现:

import requests
url = "https://httpbin.org/status/404"
response = requests.get(url)
print(response.status_code)  # 输出:404
print(response.text)         # 输出:...

〔2〕请求头(Headers)深度构造

服务器常通过User-Agent、Referer、Accept-Language等字段识别客户端类型。若未设置 Headers,爬虫易被识别为非常规请求。标准Headers应包含:

  • User-Agent:模拟真实浏览器标识(如Chrome 120.0.0.0)
  • Accept:声明可接受的响应格式(如text/html,application/json)
  • Accept-Language:指定语言偏好(如zh-CN,zh;q=0.9)
  • Accept-Encoding:声明支持的压缩算法(如gzip, deflate)
  • Connection:保持连接(keep-alive)或关闭(close)

典型Headers构造示例:

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
    "Accept-Encoding": "gzip, deflate, br",
    "Connection": "keep-alive",
    "Referer": "https://www.google.com/"
}
response = requests.get("https://example.com", headers=headers)

〔3〕请求参数与表单提交

GET请求参数通过URL传递(?key=value),POST请求参数置于Body中。使用requests库时:

  • params参数自动拼接GET参数
  • data参数提交表单数据(Content-Type: application/x-www-form-urlencoded)
  • json参数提交JSON数据(Content-Type: application/json)

例如提交登录表单:

login_data = {
    "username": "testuser",
    "password": "123456"
}
response = requests.post("https://example.com/login", data=login_data)

注意:若网站启用CSRF防护,需先获取Token并随请求提交。典型流程:

  1. GET请求登录页,解析隐藏字段<input name="csrf_token" value="xxx">
  2. 将Token加入POST数据
  3. 维持会话状态(使用Session对象)

Session对象示例:

session = requests.Session()
session.get("https://example.com/login")  # 获取Cookie
csrf_token = session.cookies.get("csrf_token")
login_data = {"csrf_token": csrf_token, "username": "testuser", "password": "123456"}
session.post("https://example.com/login", data=login_data)

🔧 核心工具链|requests、BeautifulSoup与selenium

requests
BeautifulSoup
selenium

〔1〕requests库核心功能

requests是Python3.6最流行的HTTP库,支持会话保持、SSL验证、代理设置等。常用方法:

  • requests.get(url, params, headers, cookies, timeout)
  • requests.post(url, data, json, headers)
  • response.status_code:HTTP状态码
  • response.text:响应体文本(自动解码)
  • response.content:二进制响应体(用于下载文件)
  • response.json():解析JSON响应

错误处理示例:

try:
    response = requests.get("https://example.com", timeout=5)
    response.raise_for_status()  # 抛出HTTPError
except requests.exceptions.Timeout:
    print("请求超时")
except requests.exceptions.HTTPError as e:
    print(f"HTTP错误:{e}")
except requests.exceptions.RequestException as e:
    print(f"请求异常:{e}")

〔2〕会话保持与Cookie管理

使用Session对象可自动管理Cookie:

session = requests.Session()
session.get("https://example.com/login")
# 后续请求自动携带Cookie
response = session.get("https://example.com/profile")

手动操作Cookie:

session.cookies.set("session_id", "abc123", domain="example.com")

〔1〕HTML解析核心语法

BeautifulSoup支持多种解析器(lxml、html.parser),安装命令:

pip install beautifulsoup4 lxml

初始化解析器:

from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, "lxml")  # 或"html.parser"

〔2〕元素定位方法

常用选择器:

  • soup.find("div", class_="content"):查找第一个匹配元素
  • soup.find_all("a", href=re.compile(r"^/article")):查找所有链接
  • soup.select(".article-title"):CSS选择器
  • soup.select("div > p:first-child"):子元素选择

提取文本与属性:

title = soup.find("h1").get_text(strip=True)
link = soup.find("a")["href"]

〔3〕应对动态加载内容

若页面内容通过JS动态加载,BeautifulSoup无法直接获取。此时需:

  1. 分析Network面板中的XHR请求,直接请求API接口
  2. 使用selenium驱动浏览器渲染后解析
  3. 逆向解析JS生成的参数

〔1〕环境配置与基础操作

安装依赖:

pip install selenium webdriver-manager

Chrome无头模式启动:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
driver = webdriver.Chrome(options=options)
driver.get("https://example.com")

〔2〕元素交互与等待机制

显式等待确保元素加载完成:

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, ".article-content"))
)

模拟点击与输入:

search_input = driver.find_element(By.NAME, "q")
search_input.send_keys("Python爬虫")
search_input.submit()

〔3〕执行JavaScript代码

获取动态生成的元素:

script = "return document.querySelector('.dynamic-content').innerText"
content = driver.execute_script(script)

🛡️ 反爬策略应对|动态渲染与行为验证

〔1〕动态渲染页面识别

通过以下现象判断页面是否动态加载:

  • 右键查看源代码中无目标数据
  • Network面板中存在XHR/Fetch请求返回JSON数据
  • 页面加载后内容延迟出现(如滚动加载)

解决方案:

  1. 直接请求API:分析XHR请求,提取JSON接口参数
  2. 逆向JS加密:定位JS中的加密函数(如window._data = encrypt(data))
  3. 浏览器自动化:使用selenium或Playwright驱动真实浏览器

案例:某新闻站文章列表通过/api/articles?offset=10返回JSON,结构如下:

{
  "total": 100,
  "articles": [
    {"id": 123, "title": "Python爬虫实战", "url": "/article/123"},
    ...
  ]
}

直接请求该接口即可获取结构化数据:

api_url = "https://example.com/api/articles?offset=10"
response = requests.get(api_url)
data = response.json()
for article in data["articles"]:
    print(article["title"], article["url"])

〔2〕JS加密参数破解

常见加密场景:

  • sign参数:HMAC-SHA256签名(基于时间戳+随机数)
  • token参数:AES加密的JSON字符串
  • ruid参数:通过WebAssembly生成的唯一标识

破解步骤:

  1. 在JS中搜索sign=定位加密函数
  2. 使用PyExecJS调用JS函数计算签名:
import execjs
with open("encrypt.js", "r") as f:
    ctx = execjs.compile(f.read())
sign = ctx.call("get_sign", "data_to_encrypt")

注意:若加密逻辑复杂(如混淆JS),建议使用selenium直接获取渲染后页面内容。

〔3〕行为验证码识别

常见验证码类型:

类型识别特征应对方案
滑动拼图滑块缺口位置需计算OpenCV模板匹配定位缺口
点选文字需点击指定文字坐标OCR识别文字+坐标计算
智能验证无图形,仅需点击模拟鼠标轨迹+延迟随机化

滑动拼图破解示例(使用OpenCV):

import cv2
bg = cv2.imread("background.png")
block = cv2.imread("block.png")
result = cv2.matchTemplate(bg, block, cv2.TM_CCOEFF_NORMED)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
distance = max_loc[0]  # 滑动距离(像素)

💾 数据存储方案|MySQL、MongoDB与Redis

〔1〕关系型数据库MySQL

安装依赖:

pip install PyMySQL

数据存储流程:

import pymysql
conn = pymysql.connect(host="localhost", user="root", password="123456", database="crawler")
cursor = conn.cursor()
sql = "INSERT INTO articles (title, url, publish_time) VALUES (%s, %s, %s)"
cursor.execute(sql, ("Python爬虫", "/article/123", "2023-12-01"))
conn.commit()
conn.close()

最佳实践:使用连接池避免频繁创建连接,添加唯一索引防重。

〔2〕非关系型数据库MongoDB

安装依赖:

pip install pymongo

文档存储示例:

from pymongo import MongoClient
client = MongoClient("mongodb://localhost:27017/")
db = client["crawler"]
collection = db["articles"]
article = {"title": "Python爬虫", "url": "/article/123", "tags": ["爬虫", "Python"]}
collection.insert_one(article)

优势:支持嵌套文档结构(如评论列表),适合半结构化数据。

〔3〕缓存数据库Redis

安装依赖:

pip install redis

去重存储(布隆过滤器):

import redis
r = redis.Redis(host="localhost", port=6379, db=0)
# 检查URL是否已爬取
if not r.sismember("visited_urls", url):
    r.sadd("visited_urls", url)
    # 执行采集逻辑

高阶应用:使用Redis Streams实现分布式任务队列。

🚀 真实项目实战|电商与社交媒体采集

〔1〕电商商品数据采集

以某电商平台为例,采集流程:

  1. 搜索关键词获取商品列表页(/search?q=python)
  2. 解析商品卡片信息(标题、价格、链接)
  3. 点击进入商品详情页,提取SKU参数、库存、评价数
  4. 翻页逻辑:分析page参数递增规律

关键代码片段:

def crawl_products(keyword):
    page = 1
    while True:
        url = f"https://example.com/search?q={keyword}&page={page}"
        response = requests.get(url)
        soup = BeautifulSoup(response.text, "lxml")
        products = soup.select(".product-card")
        if not products:
            break
        for product in products:
            title = product.select_one(".title").get_text(strip=True)
            price = product.select_one(".price").get_text()
            detail_url = product.a["href"]
            save_to_db(title, price, detail_url)
        page += 1

〔2〕社交媒体监控

采集微博热门话题流程:

  1. 登录微博(使用Session保持状态)
  2. 访问https://s.weibo.com/top/summary获取热搜榜
  3. 解析每条热搜的标题、热度值、发布时间
  4. 定时任务:每5分钟执行一次,记录趋势数据

防封策略:

  • 使用真实浏览器User-Agent
  • 设置随机请求间隔(2-5秒)
  • IP代理池轮换(每100次请求切换)

时间间隔控制:

import time
import random
time.sleep(random.uniform(2.0, 5.0))

〔3〕反爬对抗实战案例

某网站启用Cloudflare防护,特征:

  • 首次访问需通过JS挑战(__cf_rl_m Cookie)
  • 请求头含cf-chl-outcome=success参数

解决方案:

  1. 使用selenium加载页面完成挑战
  2. 从响应Cookie中提取__cf_bm值
  3. 将Cookie加入后续请求Headers

❓ 网友们还关心

⑴ Python2与Python3爬虫有何区别?

Python2于2020年停止维护,Python3是当前唯一推荐版本。核心差异:

  • 字符串类型:Python2使用str(字节串)和unicode,Python3统一为str(Unicode)
  • 编码声明:Python3默认UTF-8,无需# -*- coding: utf-8 -*-
  • 库兼容性:requests、BeautifulSoup等库已停止Python2支持
⑵ 如何避免IP被封禁?
  • 使用代理IP池(如快代理、芝麻HTTP)
  • 控制请求频率(每分钟≤60次)
  • 模拟真实用户行为(随机鼠标移动、滚动页面)
  • 处理验证码(滑块/点选验证码)
  • 使用Session保持会话,避免频繁重登
⑶ 爬虫代码报错“Connection refused”怎么办?

常见原因及解决方案:

  • 服务器防火墙拦截:更换代理IP或降低请求频率
  • URL拼写错误:检查URL是否含特殊字符(需URL编码)
  • 服务器过载:增加重试机制(最多3次,间隔指数增长)
  • SSL证书问题:设置verify=False(仅测试环境)
⑷ Scrapy与requests哪个更适合初学者?

推荐学习路径:

  1. 先用requests+BeautifulSoup理解HTTP协议与解析逻辑
  2. 掌握基础后过渡到Scrapy(高并发、中间件、管道机制)
  3. Scrapy核心组件:
  • Spider:定义爬取逻辑
  • Downloader Middleware:处理请求/响应
  • Spider Middleware:过滤/修改Item
  • Pipeline:数据存储与去重
⑸ 爬取的数据如何防止被滥用?
  • 添加水印:在图片数据中嵌入来源标识
  • 数据加密:存储时使用AES加密敏感字段
  • 访问控制:数据库设置IP白名单
  • 日志审计:记录所有数据导出行为

〔1〕技术学习路径图

① 基础阶段(1-2周)

掌握HTTP协议、requests基础、BeautifulSoup解析

② 进阶阶段(2-4周)

学习selenium动态渲染、JS逆向、反爬策略

③ 工程阶段(1-2月)

构建Scrapy项目、数据库集成、分布式部署

④ 专家阶段(持续)

研究WebAssembly逆向、浏览器指纹对抗、AI辅助采集

〔2〕推荐学习资源