服务热线:400-800-8800 | 联系客服 | 常见问题

Python爬虫创建教程

Python爬虫创建教程|构建高效稳定的数据采集系统

在数据驱动时代,网络爬虫已成为获取公开信息的核心工具。本教程面向零基础开发者,系统讲解Python爬虫开发全流程,从HTTP协议原理到反爬对抗策略,从静态页面解析到动态渲染处理,结合真实项目案例,助您构建稳定、高效、可扩展的数据采集系统。

教程覆盖requests、BeautifulSoup、Selenium、Scrapy四大核心组件,深入解析网页结构特征、反爬机制识别与绕过技巧、分布式架构设计等高阶内容。所有示例代码均通过生产环境验证,支持Linux/Windows/macOS多平台部署,适合个人学习、企业级数据采集及竞品监控场景。

课程特色包括:① 完整知识图谱构建 ② 每模块配套可运行代码 ③ 真实网站反爬案例拆解 ④ 性能优化与稳定性保障方案 ⑤ 法律风险规避指南。学习者可零基础入门,6周内掌握企业级爬虫开发能力。

核心学习路径

  • 基础阶段:HTTP协议详解、HTML/CSS/JS基础、requests库使用、编码处理
  • 解析阶段:BeautifulSoup/PyQuery解析、XPath定位、正则表达式匹配
  • 动态处理:Selenium自动化、PhantomJS替代方案、浏览器指纹识别
  • 反爬对抗:Cookie池管理、代理IP轮换、验证码识别、行为模拟
  • 工程化开发:Scrapy框架架构、中间件编写、管道处理、分布式部署
  • 实战项目:电商商品采集、新闻聚合系统、舆情监控平台、地图数据抓取

基础篇|构建爬虫开发知识根基

理解底层原理是开发可靠爬虫的前提

HTTP协议深度解析

网络爬虫本质上是HTTP客户端,必须深入理解协议机制才能高效采集数据。HTTP/1.1采用请求-响应模型,核心组件包括请求行、请求头、消息体和状态码。开发者需掌握以下关键点:

  • 请求方法:GET用于获取资源(如页面抓取),POST用于提交数据(如表单模拟),HEAD仅获取响应头(用于状态检测)
  • 状态码分类:2xx成功(200正常)、3xx重定向(301永久/302临时)、4xx客户端错误(403禁止访问/404不存在)、5xx服务器错误
  • 请求头要素:User-Agent标识客户端类型,Referer防止盗链,Cookie维持会话状态,Accept-Encoding声明压缩格式
  • 响应头特征:Content-Type声明数据类型(如text/html; charset=utf-8),Set-Cookie设置会话,Cache-Control控制缓存策略

实际开发中,requests库的Session对象可自动管理Cookie,配合headers参数设置请求头,示例代码如下:

import requests
session = requests.Session()
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Referer': 'https://www.example.com/',
    'Accept-Language': 'zh-CN,zh;q=0.9'
}
response = session.get('https://www.example.com', headers=headers)
print(response.status_code)  # 输出状态码
print(response.headers.get('Content-Type'))  # 输出内容类型

注意:频繁请求可能触发服务器限流,建议添加随机延迟(time.sleep(random.uniform(1,3)))并设置重试机制(requests.adapters.HTTPAdapter(max_retries=3))。

HTML结构与DOM解析原理

网页是树形结构的HTML文档,由标签嵌套组成。爬虫需准确提取目标数据,必须理解DOM树结构特征。关键概念包括:

  • 标签层级:根元素html→body→section/div→p/span等,层级关系决定数据定位精度
  • 属性特征:id(唯一标识)、class(样式分组)、data-*(自定义数据)是定位关键节点
  • 文本内容:innerText获取纯文本,innerHTML包含HTML标签,textContent保留所有空白字符
  • 动态加载:现代网站多采用AJAX技术,数据通过JavaScript异步加载,需用Selenium等工具获取完整DOM

以新闻页面为例,典型结构如下:

<div class="article">
  <h1 class="title">Python爬虫实战详解</h1>
  <span class="author">作者:张三</span>
  <time class="date">2023-08-15</time>
  <div class="content">
    <p>网络爬虫(Web Crawler)是自动获取网页内容的程序...</p>
    <p>本教程将系统讲解Python爬虫开发全流程...</p>
  </div>
</div>

使用BeautifulSoup解析时,可通过class_参数精确定位:

from bs4 import BeautifulSoup
html = '...'  # 网页内容
soup = BeautifulSoup(html, 'html.parser')
title = soup.find('h1', class_='title').get_text()
author = soup.find('span', class_='author').get_text()
content = ''.join(p.get_text() for p in soup.find('div', class_='content').find_all('p'))

注意:部分网站使用动态类名(如class="title_abc123"),需结合XPath或CSS选择器增强鲁棒性。

工具篇|核心库使用指南

掌握主流工具是高效开发的基础

Requests库核心用法

requests是Python最流行的HTTP客户端库,提供简洁的API处理网络请求。核心功能包括:

  • 基础请求:session.get/post方法支持超时设置、重定向控制、证书验证
  • 参数传递:params字典自动编码URL参数,data/json用于POST请求体
  • 响应处理:response.text(文本)、response.content(二进制)、response.json()(JSON数据)
  • 高级配置:proxies设置代理池,verify禁用SSL验证,cert提供客户端证书

典型爬虫请求模板:

import requests
def fetch_page(url, retries=3):
    session = requests.Session()
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
    }
    for i in range(retries):
        try:
            response = session.get(url, headers=headers, timeout=10)
            response.raise_for_status()
            response.encoding = response.apparent_encoding
            return response.text
        except requests.RequestException:
            if i == retries - 1:
                raise
            continue

注意:部分网站要求特定请求头(如Origin、X-Requested-With),需通过浏览器开发者工具分析真实请求特征。

BeautifulSoup解析技巧

BeautifulSoup是强大的HTML/XML解析库,支持多种解析器(html.parser/lxml/html5lib)。核心功能包括:

  • 节点查找:find/find_all支持标签名、属性、文本过滤
  • 层级遍历:children/parent/next_sibling/siblings实现树遍历
  • 内容提取:get_text()获取纯文本,attrs获取属性字典
  • 选择器:select()支持CSS选择器语法(如div.content > p)

复杂场景解析示例:

from bs4 import BeautifulSoup
html = '
数据1
数据2
' soup = BeautifulSoup(html, 'html.parser') # 获取所有item items = soup.select('div.list > div.item') for item in items: print(item.get_text()) # 按层级定位 content_div = soup.find('div', class_='content') titles = content_div.find_all('h2') for title in titles: print(title.get_text())

性能优化建议:对大型文档使用lxml解析器(需安装libxml2),避免递归查找,优先使用CSS选择器提高可读性。

Selenium动态渲染处理

对于JavaScript动态加载的页面,需使用Selenium模拟浏览器行为。核心组件包括:

  • WebDriver:Chrome/Firefox驱动程序,需与浏览器版本匹配
  • 元素定位:find_element_by_id/class/xpath/css_selector
  • 交互操作:click()/send_keys()/clear()模拟用户行为
  • 等待机制:显式等待(WebDriverWait)确保元素加载完成

动态页面抓取实战:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 无头模式
options.add_argument('--no-sandbox')
driver = webdriver.Chrome(options=options)
try:
    driver.get('https://example.com')
    # 等待元素加载
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, '.data-item'))
    )
    # 获取页面源码
    html = driver.page_source
    # 或直接提取数据
    items = driver.find_elements(By.CSS_SELECTOR, '.data-item')
    for item in items:
        print(item.text)
finally:
    driver.quit()

注意:启用无头模式需Chrome≥59或Firefox≥55,部分网站检测Selenium特征,需添加反检测参数(如--disable-blink-features=AutomationControlled)。

PyQuery高效选择器

PyQuery语法类似jQuery,适合快速开发。核心功能包括:

  • 文档加载:PyQuery(html)或PyQuery(url=...)
  • 元素选择:'.class'/'#id'/'tag'及组合选择器
  • 节点操作:text()/html()/attr()/add_class()
  • 遍历方法:items()生成迭代器

对比BeautifulSoup的简洁用法:

from pyquery import PyQuery as pq
# 从URL加载
doc = pq(url='https://example.com')
# 从HTML字符串加载
doc = pq('
内容
') # 提取数据 items = doc('.item') for item in items.items(): print(item.text()) print(item.attr('data-id')) # 修改DOM结构 doc('.title').add_class('highlight') print(doc.html())

优势:语法简洁、性能接近BeautifulSoup,适合快速原型开发;劣势:功能相对有限,复杂场景需结合其他工具。

反爬对抗篇|突破数据采集壁垒

理解反爬机制是突破数据壁垒的关键

常见反爬策略与应对方案

主流网站采用多层防护机制,开发者需针对性设计对策:

  • User-Agent检测:检查请求头是否包含合法浏览器标识,解决方案:使用真实User-Agent池
  • 请求频率限制:通过IP限流(如Nginx limit_req),解决方案:添加随机延迟+代理IP轮换
  • Cookie验证:要求会话Cookie,解决方案:使用Session保持会话状态
  • Referer校验:验证请求来源页面,解决方案:设置正确的Referer头
  • 动态参数校验:如token签名、时间戳校验,解决方案:逆向JavaScript加密逻辑
  • 浏览器指纹:检测Canvas/WebGL特征,解决方案:使用Selenium+反检测参数

典型反爬绕过方案:

import time
import random
import requests
def bypass_crawl(url):
    proxies = [
        {'http': 'http://127.0.0.1:8080'},
        {'http': 'http://127.0.0.1:8081'}
    ]
    headers = {
        'User-Agent': random.choice(USER_AGENTS),
        'Referer': 'https://www.google.com/',
        'Accept-Language': 'zh-CN,zh;q=0.9'
    }
    session = requests.Session()
    session.headers.update(headers)
    # 代理池轮换
    proxy = random.choice(proxies)
    try:
        response = session.get(url, proxies=proxy, timeout=10)
        # 处理动态参数
        if 'token' in response.text:
            token = extract_token(response.text)  # 自定义解析函数
            # 重发请求
            response = session.post(url, data={'token': token})
        return response.text
    except requests.RequestException:
        time.sleep(random.uniform(2, 5))
        return bypass_crawl(url)

高级技巧:对于复杂反爬(如滑块验证),可结合OCR识别或接入第三方打码平台;对于加密参数,需逆向JavaScript源码定位加密函数。

验证码识别技术

验证码是防止自动化的核心手段,主要类型及解决方案:

  • 数字字母验证码:使用Tesseract OCR或深度学习模型识别
  • 滑块拼图:通过图像比对计算缺口位置,模拟鼠标轨迹
  • 点选验证:结合图像分割与坐标定位
  • 行为验证:分析鼠标移动、点击间隔等特征

滑块验证码识别流程:

  1. 下载完整图与带缺口图
  2. 使用OpenCV进行模板匹配
  3. 计算缺口X坐标偏移量
  4. 生成平滑鼠标轨迹(贝塞尔曲线)
  5. 模拟拖拽操作

核心代码示例:

import cv2
import numpy as np
from selenium.webdriver.common.action_chains import ActionChains
def solve_slider(driver):
    # 获取背景图和滑块图
    bg_img = driver.find_element(By.ID, 'bg_img').screenshot_as_png
    slider_img = driver.find_element(By.ID, 'slider_img').screenshot_as_png
    # 保存为文件
    with open('bg.png', 'wb') as f:
        f.write(bg_img)
    with open('slider.png', 'wb') as f:
        f.write(slider_img)
    # 读取图像
    bg = cv2.imread('bg.png')
    slider = cv2.imread('slider.png')
    # 模板匹配
    result = cv2.matchTemplate(bg, slider, cv2.TM_CCOEFF_NORMED)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
    # 计算偏移量
    x_offset = max_loc[0]
    # 模拟轨迹
    track = []
    current = 0
    mid = x_offset * 3/4
    t = 0.2
    v = 0
    while current < x_offset:
        if current < mid:
            a = 2
        else:
            a = -3
        v0 = v
        v = v0 + a * t
        move = v0 * t + 0.5 * a * t * t
        current += move
        track.append(round(move))
    # 执行拖拽
    slider = driver.find_element(By.ID, 'slider')
    ActionChains(driver).click_and_hold(slider).perform()
    for x in track:
        ActionChains(driver).move_by_offset(xoffset=x, yoffset=0).perform()
    ActionChains(driver).release().perform()

注意:轨迹生成需高度拟真,否则易被检测;部分网站使用滑动距离校验,需添加随机扰动。

Scrapy框架篇|企业级爬虫架构

构建可扩展的分布式爬虫系统

Scrapy核心架构

Scrapy采用异步IO框架Twisted,核心组件包括:

  • Engine:全局数据流控制器
  • Spider:定义爬取逻辑和解析规则
  • Scheduler:请求调度器(支持优先级队列)
  • Downloader:并发下载器(支持中间件)
  • Item Pipeline:数据清洗与存储管道
  • Downloader Middleware:请求/响应处理中间件

典型Spider定义:

import scrapy
class ProductSpider(scrapy.Spider):
    name = 'products'
    allowed_domains = ['example.com']
    start_urls = ['https://example.com/products']
    custom_settings = {
        'DOWNLOAD_DELAY': 1,
        'CONCURRENT_REQUESTS': 16,
        'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)...'
    }
    def parse(self, response):
        # 提取商品列表
        for item in response.css('.product-item'):
            yield {
                'title': item.css('.title::text').get(),
                'price': item.css('.price::text').get(),
                'url': item.css('a::attr(href)').get()
            }
        # 翻页处理
        next_page = response.css('.pagination a.next::attr(href)').get()
        if next_page:
            yield response.follow(next_page, callback=self.parse)

性能优化:通过CONCURRENT_REQUESTS控制并发数,DOWNLOAD_DELAY设置延迟,ROBOTSTXT_OBEY禁用robots.txt检查(需确保合法)。

中间件开发实战

Downloader Middleware可修改请求/响应,典型用途:

  • 代理IP轮换:随机选择代理池
  • 请求头注入:动态添加Referer/Origin
  • 重试处理:自动重试失败请求
  • 用户代理切换:轮换User-Agent

代理中间件示例:

import random
from scrapy.downloadermiddlewares.proxy import ProxyMiddleware
class RandomProxyMiddleware(ProxyMiddleware):
    def __init__(self, settings):
        super().__init__(settings)
        self.proxies = settings.getlist('PROXY_LIST')
    def process_request(self, request, spider):
        proxy = random.choice(self.proxies)
        request.meta['proxy'] = proxy

settings.py配置:

PROXY_LIST = [
    'http://127.0.0.1:8080',
    'http://127.0.0.1:8081',
    'http://127.0.0.1:8082'
]
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.RandomProxyMiddleware': 750,
}

注意:代理质量直接影响成功率,需定期验证可用性;部分高匿代理需认证(proxy://user:pass@host:port)。

数据管道处理

Item Pipeline用于数据清洗、验证与存储,典型流程:

  • 数据清洗:去除HTML标签、空格、特殊字符
  • 数据验证:检查必填字段完整性
  • 去重处理:基于URL或内容哈希
  • 存储输出:JSON/CSV/数据库/文件系统

自定义管道示例:

import json
import hashlib
from itemadapter import ItemAdapter
class DuplicatesPipeline:
    def __init__(self):
        self.urls_seen = set()
    def process_item(self, item, spider):
        adapter = ItemAdapter(item)
        url_hash = hashlib.md5(adapter['url'].encode()).hexdigest()
        if url_hash in self.urls_seen:
            raise DropItem(f"Duplicate item found: {item['title']}")
        else:
            self.urls_seen.add(url_hash)
            return item
class JSONWriterPipeline:
    def open_spider(self, spider):
        self.file = open('items.jsonl', 'w', encoding='utf-8')
    def close_spider(self, spider):
        self.file.close()
    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + '\n'
        self.file.write(line)
        return item

数据库存储:使用Twisted异步API(adbapi.ConnectionPool)避免阻塞,支持MySQL/PostgreSQL。

实战篇|真实项目案例解析

从0到1构建完整数据采集系统

电商商品数据采集系统

以某电商平台为例,构建商品信息抓取系统:

  • 需求分析:采集商品标题、价格、库存、评价数、SKU参数
  • 技术选型:Scrapy框架 + Selenium中间件 + Redis去重
  • 反爬对策:代理IP池 + 请求头随机化 + 行为模拟
  • 数据存储:MongoDB文档存储 + MySQL关系数据

核心处理流程:

  1. 爬取商品列表页(支持多分类/分页)
  2. 解析商品链接(提取SKU ID)
  3. 请求商品详情页(需动态加载)
  4. 提取SKU参数(颜色/尺寸/库存)
  5. 获取评价数据(通过AJAX接口)
  6. 存储至数据库 + 生成数据报告

评价数据接口模拟:

def parse_reviews(self, response):
    # 评价接口URL
    review_url = f"https://api.example.com/reviews?sku={response.meta['sku']}&page={response.meta['page']}"
    yield scrapy.Request(
        review_url,
        callback=self.parse_review_data,
        meta={'sku': response.meta['sku'], 'page': response.meta['page'] + 1}
    )
def parse_review_data(self, response):
    data = json.loads(response.text)
    for review in data['comments']:
        yield {
            'sku': response.meta['sku'],
            'rating': review['score'],
            'content': review['content'],
            'date': review['creationTime']
        }

性能监控:集成Scrapy-Sentry监控错误,使用Scrapy-Redis实现分布式部署,支持多节点协同爬取。

新闻聚合平台构建

构建实时新闻聚合系统,覆盖主流媒体源:

  • 数据源:新闻门户/行业网站/微信公众号/微博
  • 处理流程:抓取→解析→摘要生成→关键词提取→分类存储
  • 反爬处理:动态渲染(Selenium)+ 请求头伪装 + IP轮换
  • 数据应用:舆情监控/热点追踪/竞品分析

微信公众号文章抓取方案:

  1. 登录微信公众号平台(需模拟扫码登录)
  2. 抓取文章列表(通过历史消息API)
  3. 解析正文内容(需处理加密链接)
  4. 提取封面图/阅读数/点赞数
  5. 生成Markdown文档

关键代码片段:

def parse_article(self, response):
    # 处理加密链接
    real_url = self.decrypt_url(response.url)
    # 使用Selenium获取完整内容
    self.driver.get(real_url)
    time.sleep(2)  # 等待动态加载
    # 提取数据
    title = self.driver.find_element(By.CSS_SELECTOR, 'h1').text
    content = self.driver.find_element(By.CSS_SELECTOR, '#js_content').text
    meta_info = self.driver.find_element(By.CSS_SELECTOR, '.meta').text
    yield {
        'title': title,
        'content': content,
        'meta': meta_info,
        'url': real_url
    }

注意事项:微信公众号反爬严格,需高频更换设备指纹;文章内容加密需逆向JS逻辑;建议结合人工审核机制。

FAQ|常见问题解答

高频问题深度解析

法律与合规风险

爬虫开发必须遵守以下原则:

  • robots.txt:检查网站爬虫协议,但非法律强制
  • 访问频率:避免对服务器造成压力(建议≤1次/秒)
  • 数据使用:仅用于合法目的(禁止商业滥用)
  • 个人信息:禁止采集个人敏感信息(姓名/电话/地址)
  • 技术措施:不得绕过技术防护(违反《网络安全法》)

典型案例:2022年某公司因大量爬取招聘网站数据被诉,最终赔偿50万元并公开道歉。建议:① 遵守robots.txt ② 添加合理延迟 ③ 申请API授权 ④ 咨询法律顾问。

性能优化方案

提升爬虫效率的关键措施:

  • 并发控制:Scrapy CONCURRENT_REQUESTS=16,自定义并发池
  • 请求去重:使用BloomFilter替代集合存储URL
  • 数据压缩:启用gzip压缩(Accept-Encoding: gzip)
  • 缓存机制:本地缓存已抓取页面(Redis/Memcached)
  • 异步处理:使用aiohttp替代requests(需重写 downloader)

性能测试方法:使用Scrapy的stats收集器监控请求成功率、响应时间、错误分布,通过cProfile分析性能瓶颈。

联系我们

获取定制化爬虫解决方案

渠道 联系方式
技术咨询 support@xservx.com
商务合作 business@xservx.com
技术社区 https://bbs.xservx.com
文档中心 https://docs.xservx.com

提供以下服务:
• 企业级爬虫系统定制开发
• 反爬对抗方案咨询
• 数据清洗与结构化服务
• 爬虫性能优化与监控