⚙️ 快速入门:第一个简单爬虫

① 安装依赖

pip install requests beautifulsoup4 lxml

使用 Requests 发送HTTP请求,配合 BeautifulSoup 解析HTML。

② 基础示例

import requests
from bs4 import BeautifulSoup
url = "https://example.com"
resp = requests.get(url)
soup = BeautifulSoup(resp.text, 'lxml')
print(soup.title.text)

⚡ 提示:务必设置 User-Agent 模拟浏览器,避免被拒。

📄 数据解析·网民常用技巧

🍜 BeautifulSoup 解析

通过 find() 与 find_all() 定位元素。例如抓取所有链接:

for link in soup.find_all('a'):
    print(link.get('href'))
  • 〈select〉 使用CSS选择器:soup.select('div.content > p')
  • ※ 常用属性:.text、.attrs

🔍 XPath 快速定位

结合 lxml 库,使用路径表达式。示例:

from lxml import etree
tree = etree.HTML(resp.text)
titles = tree.xpath('//h2[@class="title"]/text()')

〓 网友常用:contains(@class,'item') 模糊匹配。

※ 正则辅助提取

当结构混乱时,使用 re.findall() 提取邮箱、电话等。

import re
emails = re.findall(r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}', html)

🕸️ Scrapy 框架·进阶爬虫

Ⅰ 创建项目:scrapy startproject myproject
Ⅱ 定义Item:结构化数据字段。
Ⅲ 编写Spider:解析响应与生成请求。
Ⅳ 中间件:处理代理、UA池。

⚡ Scrapy 异步引擎效率极高,适合大规模采集。

🛡️ 反爬虫突破·网友们还关心

🔹 User-Agent 轮换

使用 fake_useragent 库随机生成。

🔹 IP代理池

通过付费API或自建代理,避免封IP。

🔹 验证码识别

对接打码平台或使用 pytesseract。

🔹 请求频率控制

time.sleep() 结合随机延迟,模拟人类。

〓 高级技巧:使用 selenium 或 Playwright 渲染JS页面。

💾 数据存储方案

存储方式适用场景Python库
CSV小型表格数据csv
JSONAPI交互json
MySQL关系型持久化pymysql
MongoDB非结构化数据pymongo

⚡ 推荐:爬虫结果先存入 MongoDB,灵活适应字段变化。

🔥 网友们还关心·爬虫周边深度解析

⚖️ 爬虫法律与 robots.txt

《网络安全法》明确规定不得非法侵入他人网络。开发者必须遵守 robots.txt 协议。例如检查目标站点根目录下的robots.txt,其中Disallow字段指示禁止爬取路径。许多网站对爬虫频率敏感,建议设置下载延迟。此外,涉及个人信息的数据需脱敏处理。网民常搜索“爬虫是否违法”——核心在于是否尊重知识产权与网站规则。合理使用公开数据,避免商业机密泄露。

◣ 案例:某公司因爬取竞争对手用户数据被判不正当竞争。务必遵循〈合理使用〉原则。

  • ✅ 遵守 robots.txt
  • ✅ 不绕过登录验证抓取私密内容
  • ✅ 控制并发请求数

🌐 动态渲染与JS逆向

现代网站大量使用 React/Vue 渲染,传统请求无法获取数据。此时需借助 Selenium 或 Playwright。Playwright 支持异步操作,可拦截网络请求直接获取JSON数据。网民常问“如何爬取需要登录的页面”,可通过模拟登录或Cookie注入实现。

〓 示例:使用Playwright获取渲染后HTML:

from playwright.sync_api import sync_playwright
with sync_playwright() as p:
    browser = p.chromium.launch()
    page = browser.new_page()
    page.goto('https://spa-site.com')
    print(page.content())

此外,接口抓包工具如 Charles 可分析XHR请求,直接模拟API调用。

🗂️ 分布式爬虫设计

当数据量达到百万级,单机爬虫效率不足。基于 Scrapy-Redis 可实现分布式调度。多个Spider共享Redis队列,避免重复抓取。同时使用 Bloom Filter 进行URL去重。网民关注“分布式爬虫如何部署”,通常采用Docker + Kubernetes 集群。

◤ 架构组件:调度器、下载器、解析器、管道。配合消息队列如RabbitMQ实现解耦。

⚡ 实战:修改Scrapy设置中的SCHEDULER为scrapy_redis.scheduler.Scheduler。

⏱️ 爬虫效率与监控

使用 异步IO (aiohttp) 可大幅提升速度。例如同时发起数百请求:

import aiohttp, asyncio
async def fetch(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as resp:
            return await resp.text()

监控方面,集成 Prometheus 指标暴露爬取速率、错误数量。网友常搜索“爬虫被ban怎么办”,建议使用指数退避重试机制。

※ 额外技巧:缓存DNS、使用连接池减少握手开销。

📌 深度扩展:Python简单爬虫生态 — 从 Urllib 到 Requests-HTML,开发者拥有丰富工具链。网民还关心“如何爬取APP数据”,可通过抓包工具获取API接口,或使用 mitmproxy 中间人代理。数据清洗常用 Pandas 进行去重、格式化。存储方面,Elasticsearch 支持全文检索,适合日志类爬虫数据。务必注意《数据安全法》,对个人信息严格保护。许多企业采用“爬虫+ETL”构建数据仓库。学习路径建议:基础请求→解析→反爬→框架→分布式。社区活跃,GitHub上众多开源爬虫项目可供参考。

⚡ 典型应用:舆情监控、比价系统、学术数据采集。每个场景均需定制反爬策略。例如电商网站常检测浏览器指纹,可使用 pyppeteer 模拟真实环境。最后提醒:爬虫速度不宜过快,尊重服务器压力。