📖 关于本项目

本页面为Python爬虫源码大全的权威资源库,致力于为爬虫开发者提供系统化、实战化、可持续进阶的代码资源与技术方案

本项目定位与价值

Python爬虫源码大全并非简单罗列代码,而是构建完整的爬虫开发知识体系。我们以实际业务需求为驱动,从网页抓取、数据解析、动态渲染支持、反反爬机制、到分布式部署与监控告警,提供端到端解决方案。

项目特点:

  • ✅ 所有代码均经真实环境验证,支持 Python 3.8+,兼容主流框架版本
  • ✅ 每个案例均包含详细注释、依赖说明、异常处理及性能优化点
  • ✅ 提供“防封策略”实战模板:代理IP池轮换、请求头伪装、请求频率控制、验证码识别集成
  • ✅ 集成 Scrapy 分布式架构与 Selenium 动态渲染最佳实践
  • ✅ 每月更新热点网站抓取方案(如:短视频平台、电商大促数据、舆情监测接口)

无论您是初学者还是资深工程师,都能在本项目中找到可快速落地的技术方案。

核心模块架构

我们采用模块化设计,将爬虫工程拆解为以下可复用组件:

模块 功能说明 对应代码路径
Request 模块 封装 requests 库,支持代理池、重试策略、超时控制、Cookie管理 core/requester.py
Parser 模块 统一解析接口,支持 XPath、CSS Selector、正则、JSONPath 多种方式 core/parser.py
Middleware 模块 中间件链:User-Agent 池、Header 智能生成、请求指纹去重 core/middleware.py
Pipeline 模块 数据清洗、存储(MySQL、MongoDB、ElasticSearch)、重复数据过滤 core/pipeline.py
Scheduler 模块 分布式调度器,支持 Redis 队列、优先级队列、断点续爬 core/scheduler.py

所有模块均遵循“高内聚、低耦合”原则,可独立使用或组合集成到自定义框架中。

🛠️ 主流工具链对比与选型指南

不同场景需匹配不同技术栈,本节提供选型决策树与实测对比

静态页面抓取工具

针对纯HTML静态页面,首选 requests + BeautifulSoup / lxml 组合,轻量高效:

import requests from bs4 import BeautifulSoup def fetch_static_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } resp = requests.get(url, headers=headers, timeout=10) resp.raise_for_status() return BeautifulSoup(resp.text, 'lxml')

⚠️ 注意:部分网站会检测 requests 默认 headers,需模拟真实浏览器行为。

💡 用户实测反馈

某新闻站改版后启用动态渲染,requests 抓取为空白,改用 Selenium 后恢复抓取,耗时增加约3倍。

动态页面抓取工具

对 SPA(单页应用)、AJAX 加载、JS 渲染页面,需使用:

  • Selenium:支持全浏览器环境,兼容性最强,但性能较低
  • Playwright:微软新工具,API 更现代,支持并行、移动端模拟
  • Pyppeteer:基于 Chrome DevTools 协议,轻量级无头浏览器
Selenium
Playwright
Pyppeteer

Selenium 配置示例(Chrome Headless):

from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument('--headless') chrome_options.add_argument('--no-sandbox') driver = webdriver.Chrome(options=chrome_options) driver.get('https://example.com') html = driver.page_source driver.quit()

📌 最佳实践:配合 WebDriverWait 等待动态元素加载完成,避免硬等待。

Playwright 支持多浏览器与自动等待:

from playwright.sync_api import sync_playwright with sync_playwright() as p: browser = p.chromium.launch(headless=True) page = browser.new_page() page.goto('https://example.com') content = page.content() browser.close()

优势:内置自动等待、支持移动端 UA、可录制操作脚本。

Pyppeteer 代码更简洁,但需手动管理事件循环:

import asyncio from pyppeteer import launch async def fetch(): browser = await launch(headless=True) page = await browser.newPage() await page.goto('https://example.com') content = await page.content() await browser.close() return content asyncio.get_event_loop().run_until_complete(fetch())
数据解析工具对比

不同解析方式性能与易用性对比如下:

工具 语法复杂度 性能(1000页) 适用场景
正则表达式 ★★★★★ ★★★★★ 结构固定的小片段提取
BeautifulSoup ★★☆ ★★☆ 容错性要求高的简单页面
lxml(XPath) ★★★ ★★★★ 结构清晰的HTML/XML解析
PyQuery(CSS) ★★ ★★★☆ 熟悉前端开发者
json.loads ★ ★★★★★ JSON API 数据

📌 建议:优先使用 lxml + xpath,兼顾性能与可读性;JSON 接口直接解析;正则仅作补充。

🚀 实战案例库

精选10个高频需求场景,提供可直接复用的爬虫代码模板

案例1:电商商品列表抓取(含分页)

目标网站:某大型综合电商平台(模拟)
难点:商品列表动态加载、价格波动、库存状态实时更新

基础版
鲁棒版

核心逻辑:遍历商品分类页→提取商品ID→详情页补全

import requests from bs4 import BeautifulSoup import time import random def crawl_product_list(category_url): headers = {'User-Agent': 'Mozilla/5.0 ...'} products = [] page = 1 while True: url = f"{category_url}?page={page}" resp = requests.get(url, headers=headers, timeout=10) if resp.status_code != 200: break soup = BeautifulSoup(resp.text, 'lxml') items = soup.select('.product-item') if not items: break for item in items: pid = item['data-id'] name = item.select_one('.name').text.strip() price = item.select_one('.price').text.strip() products.append({'id': pid, 'name': name, 'price': price}) page += 1 time.sleep(random.uniform(1.5, 3.0)) # 防封 return products

💡 扩展:可集成 Redis 缓存已抓取页码,实现断点续爬。

增强功能:自动重试、代理切换、异常分类记录

# 关键增强逻辑 max_retries = 3 proxies_pool = ['http://ip1:port', 'http://ip2:port', ...] for attempt in range(max_retries): try: proxy = random.choice(proxies_pool) proxies = {'http': proxy, 'https': proxy} resp = requests.get(url, headers=headers, proxies=proxies, timeout=10) if '验证码' in resp.text: # 检测反爬触发 continue # 正常解析... break # 成功则跳出重试循环 except requests.exceptions.RequestException as e: if attempt == max_retries - 1: log_error(f"Failed after {max_retries} attempts: {url}") continue
案例2:反爬网站突破(验证码识别+动态参数)

某政务网站采用:
① 滑动验证码(极验)
② 请求需携带动态加密参数 token

解决方案:集成第三方打码平台 + 逆向JS分析

⚠️ 法律提示

抓取政务数据需符合《政府信息公开条例》,请确保用途合法并遵守网站 robots.txt 协议。

验证码集成
动态Token生成

使用超级鹰(Chaojiying)API 实现滑动验证码识别:

import base64 import requests def recognize_captcha(image_path): with open(image_path, 'rb') as f: img_data = f.read() data = { 'username': 'your_username', 'password': 'your_password', 'softid': 'your_softid', 'codetype': '3000', # 滑动拼图类型 'file_base64': base64.b64encode(img_data).decode() } resp = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=data) result = resp.json() return result['pic_str'] # 返回坐标字符串 "x1,y1|x2,y2..."

📌 集成到 Selenium:

# 1. 截取验证码区域 element = driver.find_element_by_id('captcha-img') element.screenshot('captcha.png') # 2. 识别坐标 coords = recognize_captcha('captcha.png') # 3. 模拟拖拽 from selenium.webdriver.common.action_chains import ActionChains track = get_track(coords) slider = driver.find_element_by_id('slider') ActionChains(driver).click_and_hold(slider).perform() for x in track: ActionChains(driver).move_by_offset(xoffset=x, yoffset=0).perform() ActionChains(driver).release().perform()

通过逆向分析发现:Token = HMAC-SHA256(timestamp + salt)

import hmac import hashlib import time SALT = 'a8f3d2b1c4e9' # 从JS中提取的固定盐值 def generate_token(): timestamp = str(int(time.time())) message = timestamp + SALT token = hmac.new( SALT.encode(), message.encode(), hashlib.sha256 ).hexdigest() return {'timestamp': timestamp, 'token': token}

📌 实战技巧:将生成逻辑封装为独立模块,支持并发调用。

案例3:分布式爬虫(Scrapy + Redis)

场景:需要在24小时内抓取百万级商品数据
方案:Scrapy-Distributed 架构

组件 作用 配置要点
Scrapy 核心框架 启用中间件、Pipeline
Redis 任务队列 存储待抓URL、去重指纹
Scrapy-Redis 分布式支持 替换Scheduler为RedisScheduler
Docker 容器化部署 编排Scrapy+Redis服务

关键配置(settings.py):

# 启用Scrapy-Redis EXTENSIONS = { 'scrapy.extensions.telnet.TelnetConsole': None, } DOWNLOADER_MIDDLEWARES = { 'scrapy_redis.distributed.DistributedMiddleware': 543, } SCHEDULER = 'scrapy_redis.scheduler.Scheduler' DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter' SCHEDULER_PERSIST = True REDIS_URL = 'redis://:password@host:6379'

📌 高级技巧:使用 PrioritySpiderMiddleware 实现URL优先级调度,提升核心页面抓取效率。

🛡️ 反爬策略应对指南

网站反爬手段持续升级,本节提供针对性解决方案

常见反爬手段与对策
① User-Agent检测

现象:返回403或空页面
对策:建立User-Agent池,随机选择真实浏览器UA

UA_POOL = [ 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ...', 'Mozilla/5.0 (iPhone; CPU iPhone OS 14_0 like Mac OS X) ...' ] # 随机选择 headers['User-Agent'] = random.choice(UA_POOL)
② 请求频率限制

现象:连续请求后IP被封
对策:动态间隔 + 请求去重

💡 实测数据

某网站阈值为每分钟15次请求,我们设置为每90秒10次,成功率提升至98%

③ Cookie/Session绑定

现象:需登录才能访问
对策:Cookie池管理 + 模拟登录

# 模拟登录后保存Cookie session = requests.Session() session.post('https://example.com/login', data=login_data) cookies = session.cookies.get_dict() # 后续请求复用 resp = session.get(target_url, cookies=cookies)
④ 动态JS加密参数

现象:关键参数由JS动态生成
对策:逆向分析JS源码,提取加密逻辑

推荐工具:pyexecjs 直接执行JS代码

import execjs def get_encrypted_param(data): with open('encrypt.js', 'r') as f: js = f.read() ctx = execjs.compile(js) return ctx.call('encrypt', data)
代理IP池构建方案

代理IP质量直接影响爬虫稳定性。本方案支持:
• 自动抓取免费代理
• 实时验证可用性
• 智能切换失效IP

免费代理抓取
可用性验证

从多个免费代理站抓取并去重:

import requests from bs4 import BeautifulSoup def fetch_free_proxies(): urls = [ 'https://www.xicidaili.com/nn', 'https://www.kuaidaili.com/free/', 'https://ip.jiangxianli.com/api/proxy_ips' ] proxies = set() for url in urls: try: resp = requests.get(url, timeout=10) soup = BeautifulSoup(resp.text, 'lxml') for row in soup.select('table tr')[1:]: ip = row.select_one('td:nth-child(1)').text port = row.select_one('td:nth-child(2)').text proxies.add(f"http://{ip}:{port}") except: continue return list(proxies)

验证代理可用性(并发测试):

import asyncio import aiohttp async def validate_proxy(session, proxy): try: async with session.get( 'https://httpbin.org/ip', proxy=proxy, timeout=5 ) as resp: if resp.status == 200: return proxy except: pass return None async def validate_proxies(proxies): async with aiohttp.ClientSession() as session: tasks = [validate_proxy(session, p) for p in proxies] results = await asyncio.gather(*tasks) return [p for p in results if p] # 使用 valid_proxies = asyncio.run(validate_proxies(proxies))

☁️ 部署与运维实践

让爬虫7×24小时稳定运行

本地开发→生产部署流程
  1. 开发阶段:使用 Scrapy 或自定义框架,本地调试抓取逻辑
  2. 测试阶段:添加断言测试、模拟反爬触发、监控资源消耗
  3. 容器化:编写 Dockerfile 打包环境依赖
  4. 集群部署:使用 Kubernetes 管理多节点爬虫集群
  5. 监控告警:集成 Prometheus + Grafana 实时监控

📌 典型部署架构:

[Web Server] → [Nginx 反向代理] → [Scrapy Cluster] → [Redis Cluster] (任务队列) → [MongoDB] (数据存储) → [ElasticSearch] (全文检索) 监控:[Prometheus] → [Grafana Dashboard] 告警:[Alertmanager] → [企业微信/钉钉]
关键运维指标
指标 监控目标 告警阈值 优化措施
请求成功率 抓取成功比例 <95% 增加重试、切换代理
平均响应时间 单次请求耗时 >3s 优化解析逻辑、启用CDN
IP封禁率 被封IP占比 >5% 增强反爬绕过、扩大代理池
内存占用 单进程内存 >800MB 启用垃圾回收、分页处理
自动化运维脚本示例

每日凌晨自动清理过期数据 & 重启爬虫:

#!/bin/bash # cron: 0 2 * * * /path/to/clean_and_restart.sh # 清理7天前的临时文件 find /var/log/crawler/tmp -mtime +7 -delete # 重置Redis队列(保留今日任务) redis-cli -h redis-server LTRIM crawler:queue 0 1000 # 重启爬虫服务 systemctl restart crawler.service # 发送成功通知 curl -X POST "https://oapi.dingtalk.com/robot/send?access_token=xxx" \ -H "Content-Type: application/json" \ -d '{"msgtype":"text","text":{"content":"✅ 爬虫系统已重启"}}'

❓ 网友们都关心什么?

高频问题精选解答

Q1:如何选择爬虫框架?

选择决策树:

  • 仅需抓取少量静态页 → requests + BeautifulSoup
  • 需处理动态渲染 → Selenium 或 Playwright
  • 需要分布式/高并发 → Scrapy + Redis
  • 要求低延迟、高吞吐 → 自研框架(aiohttp + asyncio)

📌 经验法则:80%场景用 Scrapy 即可满足需求。

Q2:爬虫会被封IP吗?怎么防?

会!主要应对措施:

  1. 合理设置请求间隔(≥1.5秒/次)
  2. 使用真实浏览器UA池
  3. 启用代理IP轮换(建议≥50个可用IP)
  4. 模拟人类行为:随机滚动、点击等
  5. 处理验证码(滑动/点选/文字)

⚠️ 重要提醒:遵守网站 robots.txt,避免抓取禁止页面,否则可能承担法律责任。

Q3:如何提高数据质量?

三步清洗法:

  1. 去噪:过滤HTML标签、空格、特殊符号
  2. 校验:检查价格格式、日期范围、必填字段
  3. 去重:基于业务主键(如商品ID)或内容指纹(MD5)
# 示例:商品ID去重 import hashlib def get_md5(text): return hashlib.md5(text.encode()).hexdigest() seen_ids = set() for item in items: key = get_md5(item['id']) if key not in seen_ids: seen_ids.add(key) yield item
Q4:爬虫如何合规使用?

根据《网络安全法》及司法实践,合规要点:

  • ✅ 抓取公开数据(非加密/需登录页面)
  • ✅ 尊重网站 robots.txt 协议
  • ✅ 不突破技术措施(如绕过付费墙)
  • ✅ 不用于商业竞争(如直接复制商品页)
  • ✅ 及时响应网站合理请求(如删除指令)

📌 建议:重要项目前咨询法律专业人士。

🔍 网友们还关心

延伸阅读与热点专题

热点专题1:2024年大促数据监控方案

针对双11、618等大促,我们提供:

  • 实时价格监控模板(支持淘宝/京东/拼多多)
  • 库存预警系统(提前2小时预测断货)
  • 优惠券抓取脚本(自动匹配满减规则)
→ 查看大促爬虫案例
热点专题2:短视频平台数据抓取

抖音/快手/B站数据获取难点:

  • 视频信息通过API动态加载
  • 加密参数需逆向分析
  • 需模拟真实APP行为

✅ 解决方案:提供APP抓包 + 参数解密 + 视频下载脚本

→ 获取短视频抓取方案
热点专题3:舆情监测系统搭建

基于本项目构建企业舆情系统:

  1. 实时监控新闻/微博/公众号
  2. 关键词提取与情感分析
  3. 自动生成日报/预警推送

✅ 包含完整代码:数据抓取→清洗→分析→可视化

→ 了解舆情系统部署