在当前数据驱动的互联网生态中,网络爬虫已成为获取公开数据的重要技术手段。而选择合适的Python爬虫框架,是决定爬虫系统稳定性、扩展性与维护成本的核心环节。本文从实际开发需求出发,系统梳理Scrapy、Selenium、Requests + BeautifulSoup、PyQuery等主流方案的技术特性、适用边界及避坑指南,结合真实项目经验,为开发者提供可落地的选型参考。
不同场景对爬虫系统的性能、并发、反爬对抗能力提出差异化要求。例如:
错误选型可能导致:
• 响应延迟高、资源消耗大
• 被目标网站封禁IP
• 代码难以维护与扩展
• 法律风险累积
作为Python生态中最成熟的爬虫框架,Scrapy基于Twisted异步网络库构建,提供完整的数据采集、处理、存储闭环。其核心特性包括:
适用场景:需要长期运行、高并发、结构化数据抓取的生产级项目,如电商价格监控、舆情监测系统、搜索引擎索引构建。
典型配置示例:
class ProductSpider(scrapy.Spider):
name = "products"
start_urls = ["https://example.com/products"]
def parse(self, response):
for product in response.css(".product-item"):
yield {
"title": product.css("h2::text").get(),
"price": product.css(".price::text").re(r"¥(\d+.\d+)"),
"url": product.css("a::attr(href)").get(),
}
# 翻页逻辑
next_page = response.css("a.next::attr(href)").get()
if next_page:
yield response.follow(next_page, callback=self.parse)
避坑提示:
ROBOTSTXT_OBEY = False(仅限合法授权场景)Selenium通过控制真实浏览器实例(Chrome/Firefox)执行JS,完美解决动态内容加载问题。其优势在于:
典型用法:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service)
driver.get("https://example.com/dynamic")
# 等待元素加载完成
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ".data-block")))
# 获取数据
content = driver.find_element(By.CSS_SELECTOR, ".data-block").text
driver.quit()
性能优化建议:
options.add_argument("--headless=new")prefs = {"profile.managed_default_content_settings.images": 2}注意:Selenium资源占用高,不适合大规模并发任务,建议仅用于关键页面的深度解析。
Requests负责HTTP请求,BeautifulSoup专注DOM解析,二者组合构成最简单的爬虫方案:
示例:
import requests
from bs4 import BeautifulSoup
session = requests.Session()
session.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
})
response = session.get("https://example.com/list")
soup = BeautifulSoup(response.text, "lxml")
for item in soup.select(".article-item"):
title = item.select_one(".title").get_text(strip=True)
link = item.select_one("a")["href"]
date = item.select_one(".date").get_text()
优势:学习成本低,调试直观,适合小型项目或教学演示。
局限:无法处理JavaScript渲染内容;需手动管理会话与反爬策略。
PyQuery采用与jQuery一致的CSS选择器语法,对熟悉前端开发的工程师极其友好:
from pyquery import PyQuery as pq
html = requests.get("https://example.com").text
doc = pq(html)
# 选择所有文章标题
titles = [item.text() for item in doc(".article h2")]
# 获取属性
links = [item.attr.href for item in doc(".article a")]
相比BeautifulSoup,PyQuery在复杂选择场景下更简洁,但文档解析性能略低。适合快速开发小型爬虫脚本。
微软推出的Playwright提供比Selenium更现代的API,支持多浏览器(Chromium/Firefox/WebKit):
示例:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto("https://example.com")
content = page.inner_text(".target-element")
browser.close()
Playwright在动态页面抓取领域正快速替代Selenium,尤其适合需要模拟真实用户行为的场景。
| 框架 | 单机并发能力 | 内存占用 | 适用规模 |
|---|---|---|---|
| Scrapy | ★★★★★(10K+ QPS) | 中 | 大型项目/生产环境 |
| Selenium | ★☆☆☆(10~100 QPS) | 高(每个实例≈500MB) | 小规模动态抓取 |
| Requests+BS4 | ★★★☆(100~1000 QPS) | 低 | 中小型静态项目 |
| PyQuery | ★★★☆ | 低 | 脚本级任务 |
| Playwright | ★★★☆(可并行) | 高 | 高交互性动态抓取 |
需求:每日监控10万商品价格波动
方案:
关键代码:
# settings.py
ITEM_PIPELINES = {
"price_monitor.pipelines.PriceCleaner": 300,
"price_monitor.pipelines.MongoDBPipeline": 400,
}
DOWNLOAD_DELAY = 0.5
COOKIES_ENABLED = False
结果:单节点日均抓取8万条,价格更新延迟<2小时
需求:抓取带动态加载的岗位详情页
挑战:岗位列表页通过AJAX加载,详情页需点击展开
解决方案:
代码片段:
# 滚动加载
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(2)
new_height = driver.execute_script("return document.body.scrollHeight")
if new_height == last_height:
break
last_height = new_height
# 提取数据
job_cards = driver.find_elements(By.CSS_SELECTOR, ".job-card")
for card in job_cards:
card.click()
time.sleep(1)
title = card.find_element(By.CSS_SELECTOR, ".title").text
desc = driver.find_element(By.CSS_SELECTOR, ".job-desc").text
需求:聚合主流新闻站首页标题
实现:
优化技巧:
CONCURRENT_REQUESTS = 16提升吞吐量HTTPCACHE_ENABLED = True缓存响应RetryMiddleware自动重试失败请求典型策略:
Referer、Accept-Language等字段time.sleep(random.uniform(1,3)))scrapy-proxies中间件高级技巧:
tls-fingerprinting插件)context.new_page())问题:选择器失效(DOM结构变化)
解决方案:
[data-id])try...except AttributeErrorScrapy场景:
DOWNLOAD_DELAY是否过低导致队列堆积scrapy shell调试单页内存占用Scrapy-Redis方案:
DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'SCHEDULER_PERSIST = True实现断点续爬典型案例:
https://xxx.com/robots.txt是否允许抓取?A:否!可组合使用:
例如:scrapy-selenium插件实现无缝集成。
A:建议实施三层防护:
RETRY_ENABLED = True)DOWNLOADER_MIDDLEWARES)item = validate(item))A:不一定!可尝试:
playwright.async_api异步执行A:优化方向:
CONCURRENT_REQUESTS = 32HTTPCACHE_ENABLED = TrueLOG_LEVEL = 'ERROR'parser='lxml'A:组合策略:
A:根据《网络安全法》:
建议咨询专业法律顾问。
A:风险极高!
A:推荐方案:
scrapy-statsd监控指标A:
A:使用Scrapy Shell:
scrapy shell "https://example.com"
>>> response.css("title::text").get()
'Example Domain'
实时测试选择器效果,避免开发阶段反复运行。
「刚用Scrapy爬取某招聘网站时遇到JS混淆,最后发现是通过WebSocket传递数据,改用Playwright后秒解!」——@Python新手村
「Scrapy+Redis分布式部署后,10台服务器日均抓取500万条,记得调优Twisted reactor!」——@架构师老张
「别忘了设置DOWNLOAD_DELAY!我因没设置被封IP三天,代理IP池瞬间清空...」——@反爬斗士