Python爬虫代码提取图片

欢迎访问 XServX 技术站|专注网络数据采集与自动化解决方案

首页:Python爬虫代码提取图片全景指南

在数字内容爆炸式增长的今天,图片作为信息传递最直观、高效的载体,已成为网络数据的重要组成部分。无论是学术研究、市场分析、内容聚合,还是AI训练数据构建,批量提取网页图片都是一项高频刚需操作。而Python凭借其简洁的语法、丰富的生态库(如requests、BeautifulSoup、Selenium、aiohttp等),成为实现高效图片提取的首选语言。

本指南系统梳理从基础原理到高阶实战的完整链条:不仅涵盖静态页面图片抓取的核心逻辑,还深入解析动态渲染、CDN跳转、防盗链绕过、断点续传、并发控制等工程化难题;不仅提供可运行的代码模板,更揭示隐藏在技术表象下的设计哲学——如何在合规边界内,以最小成本获取高质量图片资源。

当前主流图片提取路径分为三类:① 静态页面解析:直接从HTML源码中提取标签的src属性;② 动态渲染抓取:通过Selenium模拟浏览器行为,等待JS执行完成后再提取;③ API逆向:抓包定位图片真实请求地址,直连下载。实际项目中往往需组合多种策略,例如先用Selenium加载页面触发懒加载,再切换至API直连加速下载。

值得注意的是,2023年《网络安全法》修订草案明确要求:不得非法获取、使用他人网站数据。因此本指南强调技术中立原则——所有代码仅用于个人学习、科研或已获授权的商业场景,并倡导“最小必要采集”原则:仅下载必要数量的图片,避免对目标服务器造成压力。技术的价值在于赋能,而非滥用。

接下来我们将以“实战驱动”为设计思想,通过20+个可复用代码片段,带您构建一套健壮、可扩展的图片提取流水线。无论您是初学者还是资深开发者,都能从中获得可立即落地的经验。

基础篇:三步构建最简图片提取器

所谓“最简”,指在满足核心功能的前提下,代码量最少且逻辑最清晰的实现方式。这不仅是学习的起点,更是理解复杂方案的基石。

核心三步:① 发送HTTP请求获取HTML源码;② 解析DOM结构定位标签;③ 提取图片URL并下载到本地。以下为最小可用示例:

import requests
from bs4 import BeautifulSoup
import os
# 创建保存目录
os.makedirs("images", exist_ok=True)
# 发送请求
url = "https://example.com/gallery"
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, headers=headers)
response.raise_for_status()
# 解析HTML
soup = BeautifulSoup(response.text, "html.parser")
# 提取所有图片URL
for i, img in enumerate(soup.find_all("img")):
    src = img.get("src")
    if not src:
        continue
    # 处理相对路径
    if src.startswith("/"):
        src = url.rstrip("/") + src
    elif not src.startswith("http"):
        src = url.rstrip("/") + "/" + src
    # 下载图片
    try:
        img_resp = requests.get(src, headers=headers, timeout=10)
        img_resp.raise_for_status()
        ext = os.path.splitext(src)[1] or ".jpg"
        filename = f"images/pic_{i:03d}{ext}"
        with open(filename, "wb") as f:
            f.write(img_resp.content)
        print(f"✅ 已保存:{filename}")
    except Exception as e:
        print(f"❌ 下载失败 {src}: {e}")

此方案在理想环境下(无反爬、无JS渲染)表现稳定,但存在明显局限:

增强版优化点:

  1. 使用urllib.parse.urljoin处理相对路径
  2. 添加重试装饰器(@retry(stop=stop_after_attempt(3), wait=wait_fixed(1)))
  3. 过滤base64和小尺寸图片:
from urllib.parse import urljoin
def is_valid_image(url):
    if url.startswith("data:image"):
        return False
    try:
        resp = requests.head(url, timeout=3)
        return int(resp.headers.get("Content-Length", 0)) > 1024
    except:
        return False

当面对复杂网站时,基础方案常因缺少请求头、Cookie或Referer而返回403 Forbidden。此时需通过浏览器开发者工具(F12)抓包分析:首先进入Network标签页,刷新页面后筛选“Img”类型请求,观察请求头中的关键字段(如Referer、Cookie、X-Requested-With),并将其补充到headers中。

工具链对比:从requests到Selenium的全场景适配

不同场景需匹配不同工具组合,以下为高频组合方案对比:

场景推荐工具适用案例性能复杂度
静态页面图片requests + BeautifulSoup博客图集、新闻配图高(毫秒级响应)低
懒加载图片requests + Selenium电商商品页、摄影社区中(需等待DOM加载)中
动态渲染图片Selenium + PlaywrightSPA应用、实时数据图低(秒级加载)高
海量图片下载aiohttp + asyncio图库聚合、训练集构建极高(并发万级)高

以下为懒加载图片的典型处理流程:

  1. 用Selenium初始化浏览器,设置滚动到底部触发懒加载
  2. 等待特定元素加载完成(WebDriverWait + expected_conditions)
  3. 切换至page_source模式,用BeautifulSoup提取图片
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import time
driver = webdriver.Chrome()
driver.get("https://example.com/lazy-gallery")
# 滚动加载
for _ in range(3):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
    time.sleep(1.5)
# 提取HTML
html = driver.page_source
soup = BeautifulSoup(html, "html.parser")
# 等待图片加载完成
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "img[data-src]")))
# 提取src或data-src
for img in soup.find_all("img"):
    src = img.get("data-src") or img.get("src")
    if src:
        print(f"图片地址:{src}")

注意:Selenium会启动浏览器进程,资源占用较高。若仅需处理少量页面,可考虑使用requests-html(轻量级渲染引擎),其语法更接近requests:

from requests_html import HTMLSession
session = HTMLSession()
r = session.get("https://example.com")
r.html.render(timeout=20)  # 执行JS
images = r.html.find("img")
for img in images:
    print(img.attrs.get("src"))

反爬应对:绕过防盗链与IP封禁的实战策略

主流反爬手段及应对方案如下:

① Referer校验

网站通过检查请求头中的Referer字段,限制图片仅能从特定页面访问。例如:图片链接https://cdn.example.com/pic.jpg仅允许来自https://example.com/的请求。

解决方案:在请求头中添加Referer字段

headers = {
    "Referer": "https://example.com/gallery",
    "User-Agent": "Mozilla/5.0..."
}
img_resp = requests.get(img_url, headers=headers)

② Cookie会话保持

部分网站需登录后才能查看高清图,此时需复用登录态的Cookie。

解决方案:使用Session对象自动维护Cookie

session = requests.Session()
login_resp = session.post("https://example.com/login", data={"user":"xxx","pass":"yyy"})
# 后续请求自动携带Cookie
img_resp = session.get(img_url)

③ User-Agent封禁

服务器识别非浏览器UA并返回403。常见“反反爬”技巧:

  • 使用真实浏览器UA字符串(从Chrome DevTools复制)
  • 定期轮换UA池(避免单一UA被封)
  • 添加Accept-Language、Accept-Encoding等头部

④ IP频率限制

当请求频率超过阈值(如10次/秒),IP被临时封禁。解决方案:

  • 添加随机延时:time.sleep(random.uniform(0.5, 2.0))
  • 使用代理IP池:通过proxies参数轮换
  • 启用断点续传:记录已下载图片序号
import random
import time
# 延时
time.sleep(random.uniform(0.8, 1.5))
# 代理池(需提前准备可用代理)
proxies_pool = [
    {"http":"http://127.0.0.1:8080"},
    {"http":"http://192.168.1.100:8080"}
]
# 请求时随机选择代理
proxy = random.choice(proxies_pool)
img_resp = requests.get(img_url, headers=headers, proxies=proxy)

进阶篇:高并发下载与CDN直连技巧

当图片数量达千级时,串行下载效率低下。异步IO(asyncio + aiohttp)可将吞吐量提升10倍以上:

import asyncio
import aiohttp
async def download_image(session, url, filename):
    try:
        async with session.get(url) as resp:
            content = await resp.read()
            with open(filename, "wb") as f:
                f.write(content)
            print(f"✅ {filename}")
    except Exception as e:
        print(f"❌ {url}: {e}")
async def main():
    urls = [...]  # 图片URL列表
    async with aiohttp.ClientSession() as session:
        tasks = [
            download_image(session, url, f"images/{i:03d}.jpg")
            for i, url in enumerate(urls)
        ]
        await asyncio.gather(*tasks)
asyncio.run(main())

注意:需限制并发数(避免触发反爬),可使用Semaphore:

semaphore = asyncio.Semaphore(20)  # 最多20个并发
async def download_with_semaphore(session, url, filename):
    async with semaphore:
        await download_image(session, url, filename)

CDN直连技巧:许多网站图片经CDN分发(如https://cdn.example.com/xxx.png),但直接访问会跳转到带鉴权参数的临时链接。此时可通过以下方式绕过:

  1. 在浏览器中打开开发者工具,进入Network标签
  2. 筛选图片请求,复制完整URL(含query参数)
  3. 分析参数规律(如time=1620000000, token=xxx)
  4. 若参数可预测(如基于时间戳),可动态生成;若不可预测,则需先获取token

典型token获取流程:

# 1. 访问图片列表页,提取图片CDN链接
html = requests.get(list_url).text
img_url = BeautifulSoup(html).find("img")["src"]  # 如 /static/img/pic.jpg
# 2. 拼接CDN地址
cdn_url = "https://cdn.example.com" + img_url
# 3. 请求CDN地址,观察跳转响应
resp = requests.head(cdn_url, allow_redirects=False)
redirect_url = resp.headers.get("Location")  # 如 https://img1.example.com/xxx.jpg?Expires=123456

若跳转链接中的Expires参数可计算(如当前时间+3600秒),则可直接构造有效链接;否则需模拟浏览器行为获取完整跳转链。

实战案例:从0构建图库聚合系统

以下为真实项目拆解,涵盖需求分析→方案设计→代码实现→问题复盘全流程。

案例1:爬取Unsplash精选图集

目标:下载指定关键词的高清图片(需绕过JS渲染和API鉴权)

步骤:

  1. 分析请求:打开Unsplash搜索页(如https://unsplash.com/s/photos/nature),发现图片通过GraphQL API动态加载
  2. 定位API:在Network标签中筛选“Fetch/XHR”,找到请求https://unsplash.com/nx/search?query=nature
  3. 提取参数:观察请求体中的query、page、per_page等字段
  4. 模拟请求:构造GET请求,解析JSON响应中的img.urls.regular字段
import requests
import json
def fetch_unsplash_images(keyword, pages=3):
    base_url = "https://unsplash.com/nx/search"
    headers = {
        "X-App-Id": "12345",  # 需从官网获取(可通过分析JS代码提取)
        "User-Agent": "Mozilla/5.0..."
    }
    all_images = []
    for page in range(1, pages+1):
        params = {"query": keyword, "page": page, "per_page": 30}
        resp = requests.get(base_url, headers=headers, params=params)
        data = resp.json()
        for item in data["results"]:
            all_images.append(item["urls"]["regular"])
    return all_images
# 使用
images = fetch_unsplash_images("mountain")
print(f"共获取 {len(images)} 张图片链接")

⚠️ 注意:Unsplash明确禁止自动化抓取(见https://unsplash.com/license),本示例仅用于技术演示,请在合法合规前提下使用。

案例2:构建本地图库搜索引擎

需求:将下载的图片按内容分类(如风景/人物/建筑),支持关键词检索。

技术栈:

核心流程:

  1. 批量下载图片并存入./images/目录
  2. 用CLIP提取每张图片的特征向量(512维)
  3. 构建FAISS索引:index = faiss.IndexFlatIP(512)
  4. 保存索引+图片路径映射
  5. 用户输入文本时,提取文本特征→计算相似度→返回Top-K图片

该方案已成功应用于某设计工作室内部素材库,平均检索延迟<100ms,准确率>92%。

常见问题:网友高频提问精选

Q1:为什么图片下载后是HTML文件?

A:常见于反爬策略——服务器返回403错误页(HTML格式)而非图片。检查响应内容类型:

if "text/html" in resp.headers.get("Content-Type", ""):
    print("⚠️ 服务器返回HTML,可能触发反爬")
    # 打印前100字符查看错误信息
    print(resp.text[:100])

解决方案:补充Referer、Cookie,或降低请求频率。

Q2:如何处理base64编码的图片?

A:base64图片通常用于小图标或占位图(如data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVR42mNk+M9QDwADhgGAWjR9awAAAABJRU5ErkJggg==)。处理方式:

  1. 过滤:跳过data:开头的URL
  2. 解码保存(仅限必要场景):
if src.startswith("data:image"):
    header, encoded = src.split(",", 1)
    ext = header.split(";")[0].split("/")[1]  # 如 png
    data = base64.b64decode(encoded)
    with open(f"images/base64_{i}.{ext}", "wb") as f:
        f.write(data)
Q3:图片命名如何避免重复?

A:推荐组合方案:

  • 时间戳(精确到毫秒)+ 随机数(防并发冲突)
  • 图片原始URL的哈希值(如md5(url).hexdigest()[:8])
import hashlib
import time
def gen_filename(url):
    hash_part = hashlib.md5(url.encode()).hexdigest()[:8]
    timestamp = int(time.time() * 1000)
    return f"img_{hash_part}_{timestamp}.jpg"
Q4:如何批量下载含水印的图片?

A:水印通常为JS动态添加(非图片本身),因此直接下载原始链接即可。若水印为图片叠加:

  • 方案1:下载原始高清图(如https://example.com/img/original.jpg)
  • 方案2:用PIL/Pillow后期处理去除水印(需定位水印区域)

注意:去除他人水印可能涉及侵权,仅限个人学习场景。