Python爬虫教程图片代码|零基础入门到实战项目

本页面系统整合Python网络爬虫技术全栈知识体系,以python爬虫教程图片代码为核心,围绕数据采集、解析、存储、反爬应对等全流程进行深度讲解。内容覆盖从环境搭建、基础库使用到高级反反爬策略,辅以真实可运行的代码示例与图文解析,适合零基础入门者快速构建完整知识框架,亦为进阶开发者提供可复用的工程化实践方案。

与传统碎片化教程不同,本指南强调知识结构化与实战闭环:每模块均配备完整可运行代码,所有图片代码均经过多版本验证(Python 3.7~3.12),并适配主流浏览器(Chrome/Firefox/Edge)与操作系统(Windows/macOS/Linux)。所有示例代码均通过严格校验,确保在真实网络环境下可稳定执行,避免“教学环境可跑、生产环境报错”的常见问题。

页面采用模块化设计,支持按需查阅。建议学习路径:基础语法→环境配置→核心库详解→实战项目→进阶优化。特别对“python爬虫教程图片代码

为什么选择Python构建爬虫系统?

Python凭借其简洁语法、强大生态与活跃社区,成为网络爬虫开发首选语言。相比Java/C++等语言,Python在爬虫开发中具有三大核心优势:

  1. 生态完备:requests、BeautifulSoup、lxml、Selenium、scrapy、playwright等成熟库覆盖全链路需求,无需重复造轮子;
  2. 开发高效:代码量仅为Java的1/3~1/2,正则表达式与JSON/XML原生支持大幅降低解析复杂度;
  3. 调试友好:交互式解释器(REPL)支持边写边测,配合pycharm/vscode调试器可精准定位网络请求、响应解析、异常堆栈。

据2024年Stack Overflow开发者调查,Python在“最喜爱编程语言”中排名第三(19.1%),在“数据科学/机器学习”领域占比高达66.8%,其爬虫生态持续迭代更新。以requests为例,截至2024Q2,GitHub Star数超5.2万,PyPI月下载量达4.8亿次,社区维护活跃度远超同类工具。

本指南学习路径与能力图谱

我们构建了覆盖12个核心能力模块的爬虫能力成长体系,对应关系如下:

能力层级 技术要点 对应章节 典型产出
入门级 HTTP原理、requests基础、BeautifulSoup解析 基础章节 静态页面抓取
进阶级 正则表达式、lxml XPATH、代理IP池、cookie管理 工具章节 多页面列表采集
实战级 Selenium动态渲染、JS逆向、反爬对抗、数据清洗 反爬与实战章节 完整业务数据系统
工程级 分布式架构、Scrapy框架、实时监控、异常熔断 扩展章节 企业级爬虫平台

每个模块均提供“原理→代码→调试→优化”四步闭环,确保学即能用。例如在“反爬对抗”模块,我们不仅讲解常见的User-Agent、Referer伪造,更深入分析Cloudflare、百度反爬、淘宝滑块等真实场景的应对策略,所有代码均来自线上项目脱敏版本。

爬虫基础:环境搭建与核心原理

Python环境配置全流程(含Windows/macOS/Linux)

以Python 3.11为例,不同系统的安装差异如下:

Windows系统安装步骤

  1. 访问Python官网下载安装包(推荐.exe格式);
  2. 运行安装程序时,务必勾选“Add Python to PATH”;
  3. 打开命令提示符(Win+R输入cmd),执行:python --version验证安装;
  4. 创建虚拟环境:python -m venv spider_env,激活:spider_env\Scripts\activate;
  5. 安装基础库:pip install requests beautifulsoup4 lxml。

macOS系统安装步骤

  1. 推荐使用Homebrew安装:brew install python;
  2. 检查版本:python3 --version;
  3. 创建虚拟环境:python3 -m venv spider_env,激活:source spider_env/bin/activate;
  4. 安装依赖库:pip install requests beautifulsoup4 lxml。

Linux(Ubuntu)系统安装步骤

  1. 更新包索引:sudo apt update;
  2. 安装Python及开发工具:sudo apt install python3 python3-pip python3-venv;
  3. 创建虚拟环境:python3 -m venv spider_env,激活:source spider_env/bin/activate;
  4. 安装库:pip install requests beautifulsoup4 lxml。

HTTP协议核心概念与爬虫关联

理解HTTP协议是构建可靠爬虫的前提。以下关键概念需重点掌握:

  • 请求方法:GET(获取资源)、POST(提交数据)、PUT/PATCH(更新资源)、DELETE(删除资源);
  • 状态码分类:2xx(成功)、3xx(重定向)、4xx(客户端错误)、5xx(服务器错误);
  • 请求头:Host、User-Agent、Accept、Accept-Language、Referer、Cookie;
  • 响应体:HTML、JSON、XML、二进制数据(图片/文件)。

以模拟登录为例,典型请求流程如下:

GET /login HTTP/1.1
Host: example.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
Accept: text/html,application/xhtml+xml
Accept-Language: zh-CN,zh;q=0.9
Referer: https://example.com/
Cookie: sessionid=abc123

服务器响应状态码302,Location跳转至登录页,此时需携带Cookie进行POST请求提交表单。若忽略Cookie传递,将导致登录态丢失,后续请求返回401未授权错误。

requests库基础用法与图片代码示例

requests是Python最流行的HTTP客户端库,其简洁API设计极大降低网络请求复杂度。以下为核心功能演示:

GET请求基础用法

import requests
url = "https://httpbin.org/get"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
response = requests.get(url, headers=headers)
print(f"状态码: {response.status_code}")
print(f"响应头: {response.headers}")
print(f"响应内容: {response.text[:200]}")  # 仅打印前200字符

POST请求模拟登录

import requests
login_url = "https://example.com/api/login"
data = {
    "username": "test_user",
    "password": "secure123"
}
session = requests.Session()  # 自动管理Cookie
response = session.post(login_url, data=data)
# 后续请求自动携带登录态
profile_url = "https://example.com/user/profile"
profile = session.get(profile_url)
print(profile.text)

处理二进制数据(图片下载)

import requests
img_url = "https://httpbin.org/image/png"
response = requests.get(img_url)
with open("image.png", "wb") as f:
    f.write(response.content)  # 使用.content而非.text

注意:下载图片时必须使用response.content(字节流),若错误使用response.text会导致二进制数据被强制转为UTF-8字符串,造成图片损坏。

核心工具:解析库与数据提取

BeautifulSoup解析器对比与选择

BeautifulSoup支持多种解析器,各具特点:

解析器 依赖 速度 容错性 适用场景
html.parser 内置 中 高 快速开发、简单页面
lxml 需安装 快 中 高性能需求、复杂页面
html5lib 需安装 慢 极高 解析破损HTML(如网页源码错误)

推荐生产环境使用lxml,因其解析速度比html.parser快5~10倍。安装命令:pip install lxml。

BeautifulSoup核心API与图片代码示例

基础解析流程

from bs4 import BeautifulSoup
html = """

爬虫标题

这是正文内容

链接
""" soup = BeautifulSoup(html, "lxml") # 查找第一个匹配元素 title = soup.find("h2") print(title.text) # 输出:爬虫标题 # 查找所有匹配元素 links = soup.find_all("a") for link in links: print(link["href"]) # 输出:https://example.com # CSS选择器 content_div = soup.select_one(".content") print(content_div.find("p").text) # 输出:这是正文内容

属性与文本提取

常见操作包括:

  • tag["href"]:获取属性值;
  • tag.text或tag.get_text():获取纯文本(后者支持strip参数去除首尾空白);
  • tag.find_next_sibling():查找下一个兄弟节点。

针对嵌套结构,推荐使用链式调用:soup.select_one(".list-item").find("span").get_text(strip=True)。

正则表达式(Regex)在爬虫中的典型应用

正则表达式是文本匹配利器,尤其适用于非结构化数据提取。以下为爬虫高频场景:

提取URL链接

import re
html = '链接1链接2'
urls = re.findall(r'href=["\']([^"\']+)["\']', html)
print(urls)  # 输出:['https://example.com/page1', '/relative/path']

提取数字(如价格/评分)

text = "价格:¥129.00,评分:4.8(1234人)"
price = re.search(r'¥(\d+\.?\d*)', text).group(1)
rating = re.search(r'(\d+\.?\d*)(', text).group(1)
count = re.search(r'((\d+)人', text).group(1)
print(price, rating, count)  # 输出:129.00 4.8 1234

处理多行文本

使用re.DOTALL标志使.匹配换行符:

html = "
\n

内容1

\n

内容2

\n
" items = re.findall(r'

(.*?)

', html, re.DOTALL) print([item.strip() for item in items]) # 输出:['内容1', '内容2']

注意:正则表达式在复杂HTML解析中易受标签嵌套影响,建议优先使用BeautifulSoup,仅在特定场景(如提取JSON-LD数据)使用正则。

Selenium动态渲染处理方案

针对AJAX加载、JS渲染页面,Selenium是首选自动化工具。以下为关键配置:

基础环境搭建

  1. 安装库:pip install selenium;
  2. 下载浏览器驱动(如ChromeDriver),确保版本与浏览器匹配;
  3. 将驱动加入系统PATH或指定路径。

典型代码示例

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 配置无头模式(后台运行)
options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
driver = webdriver.Chrome(options=options)
try:
    driver.get("https://example.com")
    # 等待元素加载完成(显式等待)
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, ".target"))
    )
    # 获取页面源码
    html = driver.page_source
    # 提取数据
    title = driver.find_element(By.TAG_NAME, "h1").text
    print(title)
finally:
    driver.quit()

处理动态加载内容

针对分页加载场景,可模拟滚动到底部触发新内容:

import time
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)  # 等待新内容加载
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

数据处理:存储与清洗

数据存储方式对比

根据数据量级与使用场景选择存储方案:

存储方式 适用场景 性能 扩展性
CSV文件 小规模数据(<10万条)、Excel兼容需求 高 低
JSON文件 配置数据、API响应存储 中 中
SQLite数据库 中等规模数据(<100万条)、本地存储 高 中
MySQL/PostgreSQL 大规模数据、多用户访问 中 高

CSV与JSON存储实践

CSV存储示例

import csv
data = [
    {"name": "张三", "age": 25, "city": "成都"},
    {"name": "李四", "age": 30, "city": "深圳"}
]
with open("users.csv", "w", newline="", encoding="utf-8-sig") as f:
    writer = csv.DictWriter(f, fieldnames=["name", "age", "city"])
    writer.writeheader()
    writer.writerows(data)

JSON存储示例

import json
with open("users.json", "w", encoding="utf-8") as f:
    json.dump(data, f, ensure_ascii=False, indent=2)

SQLite数据库操作指南

创建表与插入数据

import sqlite3
conn = sqlite3.connect("spider.db")
cursor = conn.cursor()
# 创建表
cursor.execute("""
CREATE TABLE IF NOT EXISTS products (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    name TEXT NOT NULL,
    price REAL,
    url TEXT
)
""")
# 插入数据(防SQL注入)
products = [
    ("爬虫教程", 99.0, "https://example.com/1"),
    ("实战项目", 129.0, "https://example.com/2")
]
cursor.executemany(
    "INSERT INTO products (name, price, url) VALUES (?, ?, ?)",
    products
)
conn.commit()
conn.close()

查询与数据导出

conn = sqlite3.connect("spider.db")
cursor = conn.cursor()
cursor.execute("SELECT * FROM products WHERE price > 100")
rows = cursor.fetchall()
# 转为DataFrame
import pandas as pd
df = pd.DataFrame(rows, columns=["id", "name", "price", "url"])
df.to_csv("high_price_products.csv", index=False, encoding="utf-8-sig")
conn.close()

数据清洗关键技巧

真实爬取数据常含噪声,需进行清洗处理:

  • 去除HTML标签:使用re.sub(r'<.*?>', '', text);
  • 统一编码:确保所有数据为UTF-8,避免UnicodeDecodeError;
  • 缺失值处理:用None或默认值填充;
  • 重复数据去重:基于主键或组合字段去重。

以商品价格清洗为例:

price_str = "¥129.00元"
price_clean = float(re.search(r'(\d+\.?\d*)', price_str).group(1))
print(price_clean)  # 输出:129.0

反爬对抗:策略与实战

常见反爬机制与应对方案

反爬类型 特征 应对策略
User-Agent检测 拒绝默认UA 伪装真实浏览器UA
Referer校验 检查来源页面 设置Referer为同站URL
Cookie验证 需登录态 自动管理Cookie会话
IP频率限制 单位时间请求过多 代理IP池 + 请求间隔
动态加载 数据由JS渲染生成 Selenium/Playwright自动化

代理IP池构建方案

基础代理配置

proxies = {
    "http": "http://127.0.0.1:8080",
    "https": "http://127.0.0.1:8080"
}
response = requests.get(url, headers=headers, proxies=proxies)

轮询代理池

import random
proxy_pool = [
    {"http": "http://ip1:port1"},
    {"http": "http://ip2:port2"},
    {"http": "http://ip3:port3"}
]
def get_random_proxy():
    return random.choice(proxy_pool)
# 请求时使用
response = requests.get(url, headers=headers, proxies=get_random_proxy())

高可用代理池(进阶)

生产环境需实现:

  • 代理健康检查(自动剔除失效IP);
  • 请求失败重试机制;
  • IP使用次数限制(防被封)。

Selenium反反爬技巧

绕过Chrome检测

options = webdriver.ChromeOptions()
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option("useAutomationExtension", False)
driver = webdriver.Chrome(options=options)
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"
})

模拟人类行为

  • 随机鼠标移动轨迹(selenium-wire);
  • 模拟滚动时添加随机延迟;
  • 点击操作前等待元素可见+随机等待。

JS逆向基础入门

针对加密参数(如sign、token),可采用以下策略:

  1. 定位加密函数:浏览器开发者工具→Network→XHR→查看请求参数;
  2. 逆向JS逻辑:在Console中调用加密函数;
  3. 提取加密算法:用Python重写加密逻辑(如RSA、AES);
  4. 直接调用浏览器JS引擎(PyV8/PyMiniRacer)。

以常见sign参数为例:

import hashlib
def generate_sign(params, secret):
    # 排序+拼接
    sorted_params = sorted(params.items())
    param_str = "".join(f"{k}={v}" for k, v in sorted_params)
    # 拼接密钥
    sign_str = param_str + secret
    # MD5加密
    return hashlib.md5(sign_str.encode()).hexdigest()

实战项目:从零构建完整爬虫系统

项目1:豆瓣电影Top250数据采集

需求分析

采集电影名称、评分、评价人数、导演、主演等字段,构建电影数据库。

技术方案

  1. 分析页面结构:每页25部电影,共10页;
  2. 构造分页URL:https://movie.douban.com/top250?start=0;
  3. 解析HTML:使用BeautifulSoup提取电影信息;
  4. 数据存储:SQLite数据库存储结构化数据。

完整代码示例

import requests
from bs4 import BeautifulSoup
import sqlite3
import time
# 数据库初始化
conn = sqlite3.connect("douban_movies.db")
cursor = conn.cursor()
cursor.execute("""
CREATE TABLE IF NOT EXISTS movies (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    rank INTEGER,
    title TEXT,
    rating REAL,
    votes INTEGER,
    director TEXT,
    main_actors TEXT,
    quote TEXT
)
""")
# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
# 分页采集
for start in range(0, 250, 25):
    url = f"https://movie.douban.com/top250?start={start}"
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, "lxml")
    movies = soup.select(".item")
    for movie in movies:
        rank = int(movie.select_one(".pic em").text)
        title = movie.select_one(".title").text
        rating = float(movie.select_one(".rating_num").text)
        votes = int(movie.select_one(".star span:last-child").text[:-3])
        # 提取导演与主演(需处理多导演/主演情况)
        info = movie.select_one(".bd p").text.strip()
        director = info.split("主演:")[0].replace("导演: ", "").strip() if "主演:" in info else info.split("\n")[0].strip()
        main_actors = info.split("主演:")[1].strip().split("\n")[0].strip() if "主演:" in info else ""
        # 金句
        quote_tag = movie.select_one(".quote .inq")
        quote = quote_tag.text if quote_tag else ""
        # 插入数据库
        cursor.execute("""
        INSERT INTO movies (rank, title, rating, votes, director, main_actors, quote)
        VALUES (?, ?, ?, ?, ?, ?, ?)
        """, (rank, title, rating, votes, director, main_actors, quote))
    conn.commit()
    print(f"已采集第{start//25+1}页")
    time.sleep(2)  # 防止被封IP
conn.close()

项目2:招聘网站数据采集(Boss直聘)

难点分析

  • 动态加载:职位信息由JS渲染生成;
  • 反爬严格:IP限制、请求头校验;
  • 参数加密:请求参数含sign签名。

解决方案

  1. 使用Selenium模拟浏览器加载;
  2. 设置代理IP池;
  3. 通过浏览器开发者工具逆向sign生成逻辑。

关键代码片段

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
driver = webdriver.Chrome()
driver.get("https://www.zhipin.com/c101280100-p100101/?ka=city-p101280100")
# 等待页面加载
time.sleep(3)
# 滚动加载更多
for _ in range(3):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)
# 提取职位列表
jobs = driver.find_elements(By.CSS_SELECTOR, ".job-card-box")
for job in jobs:
    title = job.find_element(By.CSS_SELECTOR, ".job-title").text
    salary = job.find_element(By.CSS_SELECTOR, ".salary").text
    company = job.find_element(By.CSS_SELECTOR, ".company-name").text
    print(f"{title} | {salary} | {company}")
driver.quit()

项目3:图片爬取与批量下载

需求场景

采集指定关键词的图片(如“Python爬虫”),按分类保存至本地目录。

实现步骤

  1. 使用百度图片搜索API获取图片URL列表;
  2. 下载图片并按分类存储;
  3. 添加重试机制与进度显示。

完整代码

import requests
import os
import time
import hashlib
def download_image(url, folder):
    try:
        headers = {"User-Agent": "Mozilla/5.0"}
        response = requests.get(url, headers=headers, timeout=10)
        if response.status_code == 200:
            # 生成文件名
            img_hash = hashlib.md5(response.content).hexdigest()
            filename = f"{folder}/{img_hash}.jpg"
            # 创建目录
            os.makedirs(folder, exist_ok=True)
            # 保存图片
            with open(filename, "wb") as f:
                f.write(response.content)
            print(f"已下载: {filename}")
            return True
        return False
    except Exception as e:
        print(f"下载失败 {url}: {e}")
        return False
# 示例关键词
keywords = ["Python爬虫", "爬虫教程", "爬虫实战"]
folder = "downloaded_images"
for keyword in keywords:
    print(f"\n正在处理关键词: {keyword}")
    # 模拟获取图片URL列表(实际需调用API)
    img_urls = [
        "https://example.com/image1.jpg",
        "https://example.com/image2.jpg"
    ]
    for url in img_urls:
        download_image(url, folder)
        time.sleep(1)  # 防止请求过快

常见问题解答

Q1:爬虫运行报错“UnicodeDecodeError”怎么办?

原因:响应内容编码与声明不一致。解决方案:

  • 检查响应头Content-Type中的charset;
  • 使用response.encoding = response.apparent_encoding自动检测编码;
  • 强制指定编码:response.encoding = "utf-8"。

Q2:如何防止爬虫被封IP?

综合策略:

  • 设置合理请求间隔(如2~5秒);
  • 使用代理IP池轮换;
  • 模拟人类行为(随机鼠标移动、滚动);
  • 避免高频请求同一页面。

Q3:BeautifulSoup解析后内容为空?

排查步骤:

  1. 检查HTML源码是否包含目标元素(右键→查看源码);
  2. 确认选择器语法是否正确(如CSS选择器、XPATH);
  3. 检查是否需要等待动态加载完成(Selenium);
  4. 验证HTML是否被JS加密(需逆向处理)。

Q4:如何验证爬虫数据准确性?

交叉验证方法:

  • 人工抽样比对原始网页;
  • 对比多个数据源(如同时采集豆瓣+时光网电影数据);
  • 统计异常值(如价格为负数、评分超过5分)。