🐍 Python简单爬虫 · 从零到实战
聚焦 Requests、BeautifulSoup、Scrapy 以及网民最关心的反爬与存储方案。
⚙️ 快速入门:第一个简单爬虫
① 安装依赖
pip install requests beautifulsoup4 lxml
使用 Requests 发送HTTP请求,配合 BeautifulSoup 解析HTML。
② 基础示例
import requests
from bs4 import BeautifulSoup
url = "https://example.com"
resp = requests.get(url)
soup = BeautifulSoup(resp.text, 'lxml')
print(soup.title.text)
⚡ 提示:务必设置 User-Agent 模拟浏览器,避免被拒。
📄 数据解析·网民常用技巧
🍜 BeautifulSoup 解析
通过 find() 与 find_all() 定位元素。例如抓取所有链接:
for link in soup.find_all('a'):
print(link.get('href'))
- 〈select〉 使用CSS选择器:
soup.select('div.content > p') - ※ 常用属性:.text、.attrs
🔍 XPath 快速定位
结合 lxml 库,使用路径表达式。示例:
from lxml import etree
tree = etree.HTML(resp.text)
titles = tree.xpath('//h2[@class="title"]/text()')
〓 网友常用:contains(@class,'item') 模糊匹配。
※ 正则辅助提取
当结构混乱时,使用 re.findall() 提取邮箱、电话等。
import re
emails = re.findall(r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}', html)
🕸️ Scrapy 框架·进阶爬虫
scrapy startproject myproject
⚡ Scrapy 异步引擎效率极高,适合大规模采集。
🛡️ 反爬虫突破·网友们还关心
🔹 User-Agent 轮换
使用 fake_useragent 库随机生成。
🔹 IP代理池
通过付费API或自建代理,避免封IP。
🔹 验证码识别
对接打码平台或使用 pytesseract。
🔹 请求频率控制
time.sleep() 结合随机延迟,模拟人类。
〓 高级技巧:使用 selenium 或 Playwright 渲染JS页面。
💾 数据存储方案
| 存储方式 | 适用场景 | Python库 |
|---|---|---|
| CSV | 小型表格数据 | csv |
| JSON | API交互 | json |
| MySQL | 关系型持久化 | pymysql |
| MongoDB | 非结构化数据 | pymongo |
⚡ 推荐:爬虫结果先存入 MongoDB,灵活适应字段变化。
🔥 网友们还关心·爬虫周边深度解析
⚖️ 爬虫法律与 robots.txt
《网络安全法》明确规定不得非法侵入他人网络。开发者必须遵守 robots.txt 协议。例如检查目标站点根目录下的robots.txt,其中Disallow字段指示禁止爬取路径。许多网站对爬虫频率敏感,建议设置下载延迟。此外,涉及个人信息的数据需脱敏处理。网民常搜索“爬虫是否违法”——核心在于是否尊重知识产权与网站规则。合理使用公开数据,避免商业机密泄露。
◣ 案例:某公司因爬取竞争对手用户数据被判不正当竞争。务必遵循〈合理使用〉原则。
- ✅ 遵守 robots.txt
- ✅ 不绕过登录验证抓取私密内容
- ✅ 控制并发请求数
🌐 动态渲染与JS逆向
现代网站大量使用 React/Vue 渲染,传统请求无法获取数据。此时需借助 Selenium 或 Playwright。Playwright 支持异步操作,可拦截网络请求直接获取JSON数据。网民常问“如何爬取需要登录的页面”,可通过模拟登录或Cookie注入实现。
〓 示例:使用Playwright获取渲染后HTML:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch()
page = browser.new_page()
page.goto('https://spa-site.com')
print(page.content())
此外,接口抓包工具如 Charles 可分析XHR请求,直接模拟API调用。
🗂️ 分布式爬虫设计
当数据量达到百万级,单机爬虫效率不足。基于 Scrapy-Redis 可实现分布式调度。多个Spider共享Redis队列,避免重复抓取。同时使用 Bloom Filter 进行URL去重。网民关注“分布式爬虫如何部署”,通常采用Docker + Kubernetes 集群。
◤ 架构组件:调度器、下载器、解析器、管道。配合消息队列如RabbitMQ实现解耦。
⚡ 实战:修改Scrapy设置中的SCHEDULER为scrapy_redis.scheduler.Scheduler。
⏱️ 爬虫效率与监控
使用 异步IO (aiohttp) 可大幅提升速度。例如同时发起数百请求:
import aiohttp, asyncio
async def fetch(url):
async with aiohttp.ClientSession() as session:
async with session.get(url) as resp:
return await resp.text()
监控方面,集成 Prometheus 指标暴露爬取速率、错误数量。网友常搜索“爬虫被ban怎么办”,建议使用指数退避重试机制。
※ 额外技巧:缓存DNS、使用连接池减少握手开销。
📌 深度扩展:Python简单爬虫生态 — 从 Urllib 到 Requests-HTML,开发者拥有丰富工具链。网民还关心“如何爬取APP数据”,可通过抓包工具获取API接口,或使用 mitmproxy 中间人代理。数据清洗常用 Pandas 进行去重、格式化。存储方面,Elasticsearch 支持全文检索,适合日志类爬虫数据。务必注意《数据安全法》,对个人信息严格保护。许多企业采用“爬虫+ETL”构建数据仓库。学习路径建议:基础请求→解析→反爬→框架→分布式。社区活跃,GitHub上众多开源爬虫项目可供参考。
⚡ 典型应用:舆情监控、比价系统、学术数据采集。每个场景均需定制反爬策略。例如电商网站常检测浏览器指纹,可使用 pyppeteer 模拟真实环境。最后提醒:爬虫速度不宜过快,尊重服务器压力。