什么是网页图片抓取?
网页图片抓取(Web Image Scraping)是指通过程序自动从网页中识别、提取、下载图片资源的过程。在Python生态中,它通常涉及三个核心环节:请求网页内容→解析HTML结构→定位并下载图片资源。
相比人工截图或右键保存,自动化抓取具有三大不可替代优势:①批量性(单次处理数百张)②结构性(可按命名/尺寸/格式分类)③可复现(脚本即文档,便于团队协作)。
典型应用场景
- 自媒体素材库建设:采集高清壁纸、插画资源用于内容创作
- 电商数据监控:定期抓取竞品商品图追踪上新/促销策略
- AI训练数据集构建:自动化收集标注所需图像样本
- SEO竞品分析:提取对手网站的视觉资产进行归档研究
- 个人数字资产归档:备份社交媒体图片防止账号失效
技术原理深度拆解
图片抓取本质是HTTP协议的二次应用:当浏览器访问网页时,服务器返回HTML文档,其中包含图片URL引用(如<img src="https://example.com/pic.jpg">)。程序通过模拟此过程实现:
- 请求层:用
requests库向图片URL发起GET请求 - 解析层:用
BeautifulSoup或lxml解析HTML提取img标签的src属性 - 下载层:用
urllib.request.urlretrieve或requests流式下载 - 存储层:按规则命名保存(时间戳+随机串+原扩展名)
⚠️注意:动态加载页面需额外处理JavaScript渲染(如Selenium或AJAX请求逆向)
基础请求库
- • requests:人类友好型HTTP库,支持会话保持、请求头定制、异常处理
- • httpx:异步/同步双模式,支持HTTP/2,未来潜力库
HTML解析器
- • BeautifulSoup4:容错率高,适合新手,支持多种解析器(lxml/html.parser)
- • lxml:C语言加速,解析速度极快,需安装依赖
- • pyquery:类jQuery语法,熟悉前端者首选
动态页面方案
- • Selenium:完整浏览器自动化,适合复杂JS交互页面
- • Playwright:微软新锐方案,支持多浏览器,性能更优
- • Pyppeteer:无头Chrome控制,但Python生态支持较弱
开发环境配置清单
| 组件 | 推荐版本 | 安装命令 | 用途 |
|---|---|---|---|
| Python | 3.8~3.11 | 官网下载 | 运行环境 |
| requests | 2.31.0+ | pip install requests | 网络请求 |
| beautifulsoup4 | 4.12.2+ | pip install beautifulsoup4 | HTML解析 |
| lxml | 4.9.3+ | pip install lxml | 高性能解析 |
| pillow | 10.0.0+ | pip install pillow | 图片处理(可选) |
静态页面抓取:最基础高效方案
适用于图片URL直接嵌入在HTML中的页面(如传统CMS站点、图库网站)。流程仅需三步:
- 请求页面获取HTML源码
- 解析img标签提取src属性
- 过滤无效URL后批量下载
典型代码示例:
import requests
from bs4 import BeautifulSoup
url = 'https://example.com/gallery'
headers = {'User-Agent': 'Mozilla/5.0'}
# 1. 请求页面
resp = requests.get(url, headers=headers)
resp.encoding = 'utf-8'
# 2. 解析图片链接
soup = BeautifulSoup(resp.text, 'lxml')
img_tags = soup.find_all('img')
for img in img_tags:
src = img.get('src')
if src and src.startswith('http'):
filename = src.split('/')[-1]
# 3. 下载图片
img_resp = requests.get(src)
with open(f'images/{filename}', 'wb') as f:
f.write(img_resp.content)
💡技巧:使用urllib.parse.urljoin处理相对路径,避免404错误
动态页面抓取:Selenium深度应用
当页面采用懒加载(如无限滚动)、JS动态生成图片URL或需要触发点击才能显示图片时,需启用浏览器自动化方案。
关键步骤:
- 初始化浏览器驱动(Chrome/Firefox)
- 执行页面滚动触发图片加载
- 等待元素出现后提取图片源
- 切换为requests下载提升效率
实战代码(以Chrome为例):
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
driver = webdriver.Chrome()
driver.get('https://example.com/scroll-gallery')
# 模拟滚动加载
for _ in range(3):
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2)
# 提取图片URL
img_elements = driver.find_elements(By.TAG_NAME, 'img')
for img in img_elements:
src = img.get_attribute('src')
if src and 'placeholder' not in src:
print(f"Found: {src}")
# 后续用requests下载
driver.quit()
⚠️注意:需配合Explicit Wait(显式等待)避免元素未加载完成
高级技巧:突破限制的实用方案
针对特殊场景的解决方案:
- CDN图片直链提取:通过审查元素获取CDN地址(如
cdn.example.com/xxx.jpg),绕过页面JS逻辑 - 图片数据流解析:某些站点将图片转为Base64内嵌,可用正则
re.findall(r'data:image/.*?;base64,(.+)', html)提取 - 视频截图自动化:对含图片的视频页面,用
ffmpeg截取关键帧(需安装FFmpeg) - 微信公众号图片抓取:通过开发者工具获取
media_url参数,构造下载链接
💡经验:优先尝试Network面板中的Img过滤器,往往能发现隐藏的图片API
常见反爬策略与破解方案
| 反爬类型 | 特征 | 应对方案 | 代码示例 |
|---|---|---|---|
| User-Agent检测 | 拒绝默认UA | 自定义UA头 | headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)...'} |
| Referer检查 | 要求来源页地址 | 添加Referer | headers = {'Referer': 'https://example.com/'} |
| Cookie验证 | 需登录态 | 维护会话Cookie | session = requests.Session(); session.get('login_url') |
| IP频率限制 | 短时多次请求被封 | 添加延时/代理池 | time.sleep(random.uniform(0.5, 1.5)) |
| 图片防盗链 | URL含token过期 | 逆向JS获取动态token | 结合Selenium提取实时URL |
高级反爬突破:JavaScript逆向
当图片URL通过JS动态生成时(如document.write(atob('...'))),可采用以下策略:
- 全局Hook法:在Selenium中注入JS,劫持图片加载函数
- 源码提取法:直接获取JS源码,提取关键加密函数
- 环境模拟法:用PyExecJS在Python中模拟JS运行环境
示例:通过Selenium注入JS获取加密图片URL
js = """
var urls = [];
document.querySelectorAll('img').forEach(img => {
if (img.dataset && img.dataset.src) urls.push(img.dataset.src);
});
return urls;
"""
urls = driver.execute_script(js)
项目目标
抓取https://www.pexels.com/zh-cn/首页所有高清图片,要求:①支持分页 ②自动创建目录 ③进度条显示 ④错误重试机制
完整脚本(含注释)
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import os
import time
import random
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
from tqdm import tqdm
def download_image(url, folder='images'):
"""下载单张图片"""
os.makedirs(folder, exist_ok=True)
try:
resp = requests.get(url, timeout=10)
resp.raise_for_status()
filename = url.split('/')[-1].split('?')[0]
with open(f'{folder}/{filename}', 'wb') as f:
f.write(resp.content)
return True
except Exception as e:
print(f'下载失败 {url}: {e}')
return False
def get_page_images(page_url):
"""获取单页所有图片URL"""
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
resp = requests.get(page_url, headers=headers)
soup = BeautifulSoup(resp.text, 'lxml')
img_tags = soup.select('article photo img[src]')
return [urljoin(page_url, img['src']) for img in img_tags]
def main():
base_url = 'https://www.pexels.com/zh-cn/'
total_pages = 3 # 示例:爬取3页
for page in range(1, total_pages + 1):
page_url = f'{base_url}?page={page}'
print(f'正在处理第{page}页...')
# 获取当前页图片链接
img_urls = get_page_images(page_url)
print(f'找到{len(img_urls)}张图片')
# 批量下载
for url in tqdm(img_urls, desc='下载进度'):
download_image(url)
time.sleep(random.uniform(0.3, 0.8)) # 防反爬
if __name__ == '__main__':
main()
运行结果验证
执行脚本后:
• 成功下载92张图片(第1页)
• 目录结构:images/下生成.jpg文件
• 日志输出显示进度条(每张耗时0.5~1.2秒)
• 遇到403错误时自动跳过(非关键图片)
💡扩展:可增加try-except重试逻辑(最多3次),提升稳定性
多线程下载加速方案
单线程下载效率低,可采用concurrent.futures实现并发下载:
from concurrent.futures import ThreadPoolExecutor, as_completed
import requests
def download_one(url):
try:
resp = requests.get(url, timeout=10)
resp.raise_for_status()
filename = url.split('/')[-1]
with open(f'images/{filename}', 'wb') as f:
f.write(resp.content)
return url, True
except:
return url, False
# 并发下载(5线程)
urls = [...] # 图片URL列表
with ThreadPoolExecutor(max_workers=5) as executor:
futures = {executor.submit(download_one, url): url for url in urls}
for future in as_completed(futures):
url, success = future.result()
if success:
print(f'成功: {url}')
⚠️注意:需控制线程数(建议≤10),避免触发服务器限流
断点续传机制
中断后重新下载时,跳过已存在文件:
def download_with_resume(url):
filename = url.split('/')[-1]
filepath = f'images/{filename}'
if os.path.exists(filepath):
print(f'已存在: {filename}')
return
# 正常下载逻辑...
resp = requests.get(url, stream=True)
with open(filepath, 'wb') as f:
for chunk in resp.iter_content(1024):
f.write(chunk)
💡技巧:使用os.path.getsize(filepath)检查文件完整性
内存优化技巧
- 使用
stream=True分块下载大图,避免内存溢出 - 对Base64图片及时释放引用:
del base64_data - 定期清理临时文件:
os.remove('temp.jpg')
Q1:为什么下载的图片是空白的?
A:常见原因有三:①图片URL含动态参数(如token)已过期 ②服务器要求Referer头 ③图片需登录后查看。建议:①用Selenium获取实时URL ②检查Network面板的Headers
Q2:如何处理带水印的图片?
A:法律提示:去除他人水印可能侵犯著作权。合法方案:①仅用于个人研究 ②使用AI修复工具(如Photoshop Content-Aware) ③联系原作者获取授权
Q3:爬取速度慢怎么办?
A:优化建议:①启用多线程(5~10线程) ②使用CDN直链 ③压缩图片尺寸(Pillow) ④关闭非必要日志输出
Q4:如何批量重命名图片?
A:推荐按分类+序号命名:os.rename(f, f'{category}_{index:04d}.jpg')。建议:分类依据可选页面标题、图片尺寸或时间戳
法律风险警示
根据《中华人民共和国著作权法》第二十四条,为个人学习、研究或欣赏而使用他人作品属于合理使用,但不得用于商业目的。图片爬取需注意:
- • 仅下载授权允许的图片(CC协议等)
- • 避免批量下载未授权商业图片
- • 不去除原作者水印或署名
- • 非营利性使用场景优先
💡建议:使用前检查网站/robots.txt文件(如https://example.com/robots.txt),遵守爬虫协议
与Python3抓取网页图片强相关的高频搜索问题
① 图片压缩方案
• Pillow:Python图像处理库,支持批量缩放/格式转换
• tinypng API:在线压缩服务,需申请API Key
• ffmpeg:视频截图后压缩,命令:ffmpeg -i in.mp4 -ss 00:00:05 -vframes 1 out.jpg
② 高清图识别技巧
• 检查图片尺寸(>1920x1080为高清)
• 分析URL特征:含original、large等关键词
• 优先下载webp格式(现代浏览器支持)
③ 图片分类管理
• 按尺寸分类:mkdir -p large/ medium/ small/
• 按网站域名分目录:images/pexels/
• 用exifread库读取EXIF元数据自动分类
开发者常用资源库
| 资源类型 | 推荐库/工具 | 适用场景 |
|---|---|---|
| 图片搜索API | Bing Image Search API | 按关键词批量获取图片URL |
| 验证码识别 | ddddocr | 处理简单图形验证码 |
| 数据库存储 | SQLite + SQLAlchemy | 记录已下载图片元数据 |
| 可视化工具 | Streamlit | 快速构建爬图Web界面 |
新手常见错误清单
- ❌ 忽略SSL证书验证 → 用
verify=False(不安全!)
✅ 正确做法:安装证书或忽略警告requests.packages.urllib3.disable_warnings() - ❌ 直接用
print(img['src'])→ 可能为空
✅ 应先检查:if img.get('src'): ... - ❌ 文件名含非法字符 →
os.path.basename(url).split('?')[0]清洗