零基础学Python爬虫
从0到1构建可落地的网络数据采集能力|12大模块|28个实战案例|合规优先|持续更新
开始学习 观看演示零基础学习路径|分阶段构建系统能力
阶段一|打牢基础(1-2周)
爬虫不是魔法,而是对HTTP协议、HTML结构、数据逻辑的系统理解。本阶段聚焦三大核心:
- 〈HTML基础〉理解DOM树结构、标签语义、属性作用,能快速定位目标节点
- 〈HTTP原理〉掌握请求/响应流程、状态码含义、Header与Cookie作用机制
- 〈Python基础〉熟练使用requests库发送GET/POST请求、处理响应内容
示例:理解GET与POST本质差异——GET用于获取资源(如网页内容),POST用于提交数据(如登录表单)。若混淆二者,会导致请求被服务器拒绝(405 Method Not Allowed)。
阶段二|数据采集(3-5周)
掌握主流数据获取方式,建立“先静态后动态”采集策略:
- 〈静态页面〉用requests+BeautifulSoup解析HTML,提取文本、链接、表格
- 〈API接口〉分析Network面板,复现AJAX请求(如豆瓣电影Top250接口)
- 〈JS渲染页〉结合Selenium模拟浏览器行为,处理动态加载内容
⚠️注意:豆瓣反爬严格,直接请求会返回403。正确做法是添加User-Agent、Referer、Cookie等完整请求头,模拟真实浏览器行为。
阶段三|反反爬实战(4-6周)
90%的爬虫失败源于反爬机制。本阶段重点突破:
- 〈动态参数〉分析JS加密逻辑(如加密token、时间戳、签名算法)
- 〈滑块验证〉使用OpenCV识别缺口位置,模拟人类拖动轨迹
- 〈IP池管理〉部署代理IP轮换,结合请求频率控制(建议≤3次/秒)
案例:某电商网站采用动态token机制。通过Chrome DevTools断点调试,定位到token生成函数位于eval()中,最终通过重写该函数实现自动获取。
阶段四|存储与调度(2-3周)
采集只是开始,存储与调度决定项目可持续性:
- 〈数据库〉用SQLite/MySQL存储结构化数据,用MongoDB存储非结构化内容
- 〈文件存储〉图片、PDF等用二进制方式保存,注意路径规范化
- 〈定时任务〉用APScheduler实现每日自动抓取,结合队列防止重复
技巧:使用Redis的Set结构去重,key设为“url_md5”,避免重复抓取同一页面。
阶段五|项目实战(持续进行)
从简单到复杂,完成5个典型项目:
- 《新闻聚合平台》:采集3家主流媒体标题、摘要、发布时间
- 《招聘数据看板》:爬取招聘网站岗位信息,分析地域/薪资分布
- 《商品比价系统》:实时监控电商平台价格波动,触发降价提醒
- 《社交媒体舆情》:采集微博/知乎话题,做关键词词云分析
- 《学术文献库》:抓取知网论文元数据,构建引文网络图谱
所有项目均开源,代码仓库含详细注释与部署文档,地址:github.com/xservx/crawler-bootcamp
核心工具体系|打造高效工作流
requests
HTTP请求基石,支持会话保持、代理设置、证书验证
import requests
session = requests.Session()
session.headers.update({'User-Agent':'Mozilla/5.0'})
resp = session.get('https://example.com', timeout=10)
BeautifulSoup
HTML解析首选,支持lxml/HTML解析器
from bs4 import BeautifulSoup
soup = BeautifulSoup(resp.text, 'lxml')
titles = soup.select('.news-title a')
lxml
高性能XML/HTML解析,XPath语法强大
from lxml import html
tree = html.fromstring(resp.text)
titles = tree.xpath('//div[@class="news"]//a/text()')
DevTools分析法
① Network→XHR筛选AJAX请求
② 右键请求→Copy→Copy as cURL
③ 用curl命令测试
④ 在Python中复现请求头
示例:某网站需登录后才显示数据,通过分析Cookie中的session_id字段,可模拟登录状态采集。
Selenium高级技巧
① 使用Undetected-Chromedriver绕过反爬检测
② 手动加载代理IP池
③ 预注入JS脚本修改navigator.webdriver属性
from undetected_chromedriver import Chrome
driver = Chrome()
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})
Docker容器化部署
解决环境依赖问题,确保开发/生产环境一致
FROM python:3.10-slim
RUN pip install requests beautifulsoup4 selenium
COPY . /app
WORKDIR /app
CMD ["python", "main.py"]
服务器监控
用Supervisor管理进程,结合UptimeRobot监控服务可用性
关键指标:成功率(>98%)、平均耗时(<3s)、异常IP数(=0)
技术难点突破|真实场景解析
问题:页面源码无数据,但浏览器开发者工具Network中可见AJAX请求
解决方案:
- 步骤1:打开开发者工具→Network→XHR
- 步骤2:刷新页面,筛选包含数据的请求
- 步骤3:复制请求URL与参数,在Python中直接请求
- 步骤4:若参数加密,分析JS源码中的加密逻辑
案例:某招聘网站岗位列表页,接口为https://api.xxx.com/jobs?city=beijing&page=2,返回JSON格式数据。直接请求即可获取岗位信息,无需Selenium。
问题:采集需要登录的页面时,Cookie过期导致请求失败
解决方案:
- 使用Session对象自动维持Cookie
- 设置Cookie过期时间检测,自动刷新
- 模拟登录后保存Cookie至本地文件,下次复用
session = requests.Session()
login_data = {'username':'user','password':'pass123'}
session.post('https://xxx.com/login', data=login_data)
resp = session.get('https://xxx.com/profile') # 自动携带Cookie
问题:采集数据含大量HTML标签、空格、重复条目
解决方案:
- 用re.sub(r'<.*?>', '', text)去除HTML标签
- 用str.strip()清理首尾空格
- 用Set结构去重(基于关键字段组合)
示例:某电商商品标题含“【限时特惠】”、“【包邮】”等前缀,可正则提取核心关键词:
import re
title = "【限时特惠】小米14手机【包邮】"
clean_title = re.sub(r'[【】].*?[【】]', '', title) # "小米14手机"
问题:单机采集百万级页面时内存溢出、速度慢
解决方案:
- 使用异步框架aiohttp+asyncio提升并发效率
- 分页队列处理,避免一次性加载所有URL
- 结果实时写入数据库,而非内存缓存
性能对比:同步requests单线程约50页/秒;aiohttp异步10线程可达1200页/秒。
法律与伦理边界|爬虫工程师必读
《网络安全法》第27条
任何个人不得从事非法侵入他人网络、干扰他人网络正常功能及其防护措施的活动。
合法采集原则
① 遵守 robots.txt 协议(如https://example.com/robots.txt)
② 控制请求频率(建议≤2次/秒)
③ 不绕过身份验证或加密措施
④ 不用于商业目的(需授权)
高风险行为
- 采集个人隐私数据(身份证、手机号、住址)
- 绕过验证码或登录限制
- 大规模采集导致服务器过载(DDoS攻击性质)
- 将采集数据直接转售或公开发布
真实案例:2023年某公司因爬取某地图API数据并转售,被判赔偿50万元+公开道歉。
合规建议
- 采集前检查目标网站robots.txt
- 添加Contact信息至User-Agent(如:Mozilla/5.0 (compatible; MyCrawler/1.0; +http://mysite.com/contact))
- 建立请求日志,记录时间/URL/IP,便于溯源
- 商业项目务必签署数据授权协议
延伸阅读:《个人信息保护法》第13条明确,为履行法定职责或合同义务所必需,可处理个人信息——但需采取严格保护措施。
职业发展路径|从学习到就业
岗位需求
爬虫工程师常见于以下方向:
- 〈数据服务商〉如天眼查、企查查——企业信息采集
- 〈电商公司〉——竞品监控、价格追踪
- 〈金融科技〉——舆情监测、风险预警
- 〈科研机构〉——学术文献、政策文件归集
2024年主流招聘平台显示:爬虫工程师平均月薪15K-25K,资深岗可达35K+
能力模型
学习路线图
基础掌握
完成requests+BeautifulSoup实战,爬取50个静态页面
动态突破
掌握Selenium+DevTools分析,处理JS渲染页面
项目实战
独立开发招聘数据看板,完成数据存储与可视化
持续深化
研究反反爬技术、部署生产环境、参与开源项目
实战演示|采集新闻列表
目标网站:https://example-news.com(模拟站点,仅作教学演示)
采集内容:标题、链接、发布时间、来源
步骤1:分析页面结构
右键→检查,发现新闻列表位于<div class="news-list">中,每条新闻为<div class="news-item">,标题在<a class="title">内。
步骤2:编写采集脚本
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36'
}
# 发送请求
resp = requests.get('https://example-news.com', headers=headers, timeout=10)
resp.encoding = 'utf-8'
# 解析HTML
soup = BeautifulSoup(resp.text, 'lxml')
news_items = soup.select('.news-list .news-item')
# 提取数据
for item in news_items[:5]: # 仅展示前5条
title = item.select_one('.title').text.strip()
link = item.select_one('.title')['href']
time = item.select_one('.time').text.strip()
source = item.select_one('.source').text.strip()
print(f"{title}|{source}|{time}|{link}")
步骤3:结果输出
| 标题 | 来源 | 时间 | 链接 |
|---|---|---|---|
| Python 3.13发布新特性 | 开发者头条 | 2024-11-12 | https://dev.io/py313 |
| 爬虫工程师如何应对反爬? | 知乎技术社区 | 2024-11-10 | https://zhihu.com/crawler |
| 数据采集合规指南更新 | 网信办官网 | 2024-11-08 | https://cac.gov.cn/guide |
| 零基础学Python:爬虫入门 | CSDN博客 | 2024-11-05 | https://blog.csdn.net/python-crawler |
| 企业级爬虫架构实践 | InfoQ中文站 | 2024-11-01 | https://www.infoq.cn/architecture |
高频问题解答|新手常见误区
A:403表示服务器拒绝请求。可能原因:
- 缺少User-Agent或Referer头
- 请求频率过高触发限流
- IP被封禁(尝试更换代理IP)
- 目标页面需登录态
A:lxml解析速度更快(C语言实现),但BeautifulSoup语法更直观。推荐组合:用requests获取页面,lxml解析;复杂页面用BeautifulSoup。
A:合理频率下不会。正常用户访问与爬虫本质无异,关键在“不扰民”——控制并发、遵守robots.txt、避免高负载请求。
A:建议优先绕过(如分析Cookie/Token),其次使用第三方打码平台(如超级鹰),最后考虑Selenium模拟人工操作。但需注意:绕过验证码可能涉及法律风险,务必评估合规性。
A:不能!需清洗:去除HTML标签、标准化时间格式、去重、验证数据完整性。建议使用pandas进行批量清洗,如:
import pandas as pd
df = pd.read_csv('raw_data.csv')
df['date'] = pd.to_datetime(df['date'], errors='coerce')
df.drop_duplicates(subset=['title'], inplace=True)
关于我们|专注爬虫教学5年
我们是一支由资深数据工程师、Python讲师、法律合规顾问组成的教学团队,累计服务学员超20,000人。课程内容严格遵循《网络安全法》要求,强调“技术向善、合规第一”。
我们的承诺:
- 所有案例均脱敏处理,不涉及真实商业数据
- 提供完整学习路径图与检查清单
- 每季度更新反爬应对方案
- 建立学员互助社区,解答技术难题
联系方式:contact@xservx.com|微信公众号:零基础学爬虫