◎ 爬虫快速起步 · 时间轴
〈 第一步 〉环境搭建
安装 python3.10+ 与 pip,创建虚拟环境。推荐使用 python -m venv spider_env,然后激活。确保 requests 与 beautifulsoup4 就绪。
〈 第二步 〉HTTP协议基础
理解 GET/POST、状态码、请求头。浏览器开发者工具「网络」面板是爬虫调试利器。模拟 User-Agent 是反爬第一步。
〈 第三步 〉第一个请求
import requests; r = requests.get('https://httpbin.org/get'); print(r.text) 即可获得响应。状态码200表示成功。
〈 第四步 〉数据解析
BeautifulSoup + lxml 解析HTML。CSS选择器与XPath。提取标题、链接、文本。
📘 常用库与框架 · 选项卡
⚡ requests · 最简HTTP
requests 库是python爬虫之使用方法中最基础的工具。支持 Session、Cookie、超时、代理。示例:
import requests
s = requests.Session()
s.headers.update({'User-Agent': 'Mozilla/5.0'})
resp = s.get('https://books.toscrape.com', timeout=10)
print(resp.status_code) # 200
〓 自动管理Cookie,适合中小型爬虫。网民常问:如何处理重定向?设置 allow_redirects=False 即可。
🕷️ Scrapy · 工业级框架
Scrapy 提供爬虫模板、中间件、管道。使用 scrapy startproject myspider 创建项目。异步引擎,高速抓取。示例 Spider:
import scrapy
class BlogSpider(scrapy.Spider):
name = 'blog'
start_urls = ['https://example.com']
def parse(self, response):
yield {'title': response.css('h1::text').get()}
【网友关心】Scrapy 如何避免被ban?使用 Downloader Middleware 轮换代理和UA。
⚙️ httpx · 异步支持
httpx 提供同步与异步API,支持HTTP/2。适合高并发场景。异步示例:
import httpx, asyncio
async def fetch(url):
async with httpx.AsyncClient() as client:
r = await client.get(url)
return r.text
〓 网民热搜:httpx与requests性能差异?异步场景httpx更优,但requests生态更广。
🧪 selenium · 动态渲染
针对JavaScript渲染页面,selenium 模拟真实浏览器。配合 webdriver_manager 自动管理驱动。代码示例:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
opts = Options()
opts.add_argument('--headless')
driver = webdriver.Chrome(options=opts)
driver.get('https://example.com')
print(driver.page_source[:500])
【注意】selenium 容易被检测,可加入 stealth 参数。
🔍 数据解析与提取
〔 BeautifulSoup 〕
解析HTML/XML,find_all 与 CSS选择器。处理不规范标签极佳。示例:soup.select('div.article > h2') 返回列表。
〔 lxml + XPath 〕
速度极快。XPath 表达式如 //div[@class="post"]//a/@href。适合大规模抓取。
〔 正则表达式 〕
适合从文本中提取特定模式,re.findall(r'pattern', text)。但优先使用结构化解析。
🛡️ 反爬策略与应对
| 反爬手段 | 应对方法 | 【网友关心】细节 |
|---|---|---|
| IP封锁 | 代理池 + 轮换 | 推荐付费代理或自建 |
| UA检测 | 随机User-Agent | 使用 fake-useragent 库 |
| Cookie校验 | 维持Session | requests.Session 自动处理 |
| 验证码 | 打码平台 / OCR | tesserocr 识别简单验证码 |
〓 网民热搜:如何绕过Cloudflare?使用 cloudscraper 或 selenium + undetected_chromedriver。
📌 实战案例 · 时间轴与示例
〖 案例1 〗 新闻聚合
抓取Hacker News首页,提取标题、链接、分数。使用 requests+BeautifulSoup。代码少于30行。
〖 案例2 〗 电商价格监控
抓取京东商品价格,注意动态加载。使用 selenium 或分析API接口。网友最关心:如何抓取异步加载数据?抓XHR请求。
〖 案例3 〗 图片批量下载
解析 img 标签src,使用 urllib.request.urlretrieve 保存至本地。注意Referer。
⑩ 进阶技巧 · 卡片列表
〔 中间件 〕
Scrapy Downloader Middleware 实现随机UA/代理。自定义 process_request。
〔 异步爬虫 〕
aiohttp + asyncio 每秒可发上百请求。注意连接数控制。
〔 App爬虫 〕
抓取手机API,使用 mitmproxy 或 fiddler 抓包。模拟请求头。
〔 爬虫管理 〕
使用 scrapyd 部署爬虫,定时调度。适合生产环境。
〓 常用代码片段(网友收藏)
# 带重试的请求
from requests.adapters import HTTPAdapter
s = requests.Session()
s.mount('https://', HTTPAdapter(max_retries=3))
resp = s.get('https://httpbin.org/ip', timeout=5)
print(resp.json())
〓 更多示例:使用 tenacity 库实现指数退避重试。
【深度拓展】爬虫周边技术栈
《python爬虫之使用方法》不仅涉及抓取,还包括数据清洗、存储、分析。网民热搜「爬虫与数据科学」:抓取豆瓣电影Top250,然后用 pandas 分析评分分布,使用 seaborn 绘制直方图。爬虫工程师需要熟悉HTTP缓存策略,使用 etag 和 last-modified 减少请求。另外,faker 库可生成虚假身份信息,用于测试。对于大规模爬虫,消息队列如 RabbitMQ 或 Kafka 解耦生产消费。以上都是网友常搜索的周边知识,与python爬虫之使用方法环环相扣。
〔 容器化部署 〕
Docker + Scrapy 实现环境一致性。编写Dockerfile,使用 scrapy crawl 命令。
〔 爬虫监控 〕
使用 prometheus + Grafana 监控爬虫速率、错误率。
〔 验证码识别 〕
打码平台(超级鹰)或训练 CNN 模型。但优先使用Cookie复用。
〓 网民热搜:如何学习爬虫?建议从 requests 入手,逐步深入Scrapy,同时学习HTML/CSS选择器。多实践,抓取目标网站前阅读robots.txt。