www.xservx.com | 网站简介 | 联系我

零基础学Python爬虫

从0到1构建可落地的网络数据采集能力|12大模块|28个实战案例|合规优先|持续更新

开始学习 观看演示

零基础学习路径|分阶段构建系统能力

阶段一|打牢基础(1-2周)

爬虫不是魔法,而是对HTTP协议、HTML结构、数据逻辑的系统理解。本阶段聚焦三大核心:

  • 〈HTML基础〉理解DOM树结构、标签语义、属性作用,能快速定位目标节点
  • 〈HTTP原理〉掌握请求/响应流程、状态码含义、Header与Cookie作用机制
  • 〈Python基础〉熟练使用requests库发送GET/POST请求、处理响应内容

示例:理解GET与POST本质差异——GET用于获取资源(如网页内容),POST用于提交数据(如登录表单)。若混淆二者,会导致请求被服务器拒绝(405 Method Not Allowed)。

阶段二|数据采集(3-5周)

掌握主流数据获取方式,建立“先静态后动态”采集策略:

  • 〈静态页面〉用requests+BeautifulSoup解析HTML,提取文本、链接、表格
  • 〈API接口〉分析Network面板,复现AJAX请求(如豆瓣电影Top250接口)
  • 〈JS渲染页〉结合Selenium模拟浏览器行为,处理动态加载内容

⚠️注意:豆瓣反爬严格,直接请求会返回403。正确做法是添加User-Agent、Referer、Cookie等完整请求头,模拟真实浏览器行为。

阶段三|反反爬实战(4-6周)

90%的爬虫失败源于反爬机制。本阶段重点突破:

  • 〈动态参数〉分析JS加密逻辑(如加密token、时间戳、签名算法)
  • 〈滑块验证〉使用OpenCV识别缺口位置,模拟人类拖动轨迹
  • 〈IP池管理〉部署代理IP轮换,结合请求频率控制(建议≤3次/秒)

案例:某电商网站采用动态token机制。通过Chrome DevTools断点调试,定位到token生成函数位于eval()中,最终通过重写该函数实现自动获取。

阶段四|存储与调度(2-3周)

采集只是开始,存储与调度决定项目可持续性:

  • 〈数据库〉用SQLite/MySQL存储结构化数据,用MongoDB存储非结构化内容
  • 〈文件存储〉图片、PDF等用二进制方式保存,注意路径规范化
  • 〈定时任务〉用APScheduler实现每日自动抓取,结合队列防止重复

技巧:使用Redis的Set结构去重,key设为“url_md5”,避免重复抓取同一页面。

阶段五|项目实战(持续进行)

从简单到复杂,完成5个典型项目:

  1. 《新闻聚合平台》:采集3家主流媒体标题、摘要、发布时间
  2. 《招聘数据看板》:爬取招聘网站岗位信息,分析地域/薪资分布
  3. 《商品比价系统》:实时监控电商平台价格波动,触发降价提醒
  4. 《社交媒体舆情》:采集微博/知乎话题,做关键词词云分析
  5. 《学术文献库》:抓取知网论文元数据,构建引文网络图谱

所有项目均开源,代码仓库含详细注释与部署文档,地址:github.com/xservx/crawler-bootcamp

核心工具体系|打造高效工作流

基础工具
高级调试
部署运维

requests

HTTP请求基石,支持会话保持、代理设置、证书验证

import requests
session = requests.Session()
session.headers.update({'User-Agent':'Mozilla/5.0'})
resp = session.get('https://example.com', timeout=10)

BeautifulSoup

HTML解析首选,支持lxml/HTML解析器

from bs4 import BeautifulSoup
soup = BeautifulSoup(resp.text, 'lxml')
titles = soup.select('.news-title a')

lxml

高性能XML/HTML解析,XPath语法强大

from lxml import html
tree = html.fromstring(resp.text)
titles = tree.xpath('//div[@class="news"]//a/text()')

DevTools分析法

① Network→XHR筛选AJAX请求
② 右键请求→Copy→Copy as cURL
③ 用curl命令测试
④ 在Python中复现请求头

示例:某网站需登录后才显示数据,通过分析Cookie中的session_id字段,可模拟登录状态采集。

Selenium高级技巧

① 使用Undetected-Chromedriver绕过反爬检测
② 手动加载代理IP池
③ 预注入JS脚本修改navigator.webdriver属性

from undetected_chromedriver import Chrome
driver = Chrome()
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
  'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})

Docker容器化部署

解决环境依赖问题,确保开发/生产环境一致

FROM python:3.10-slim
RUN pip install requests beautifulsoup4 selenium
COPY . /app
WORKDIR /app
CMD ["python", "main.py"]

服务器监控

用Supervisor管理进程,结合UptimeRobot监控服务可用性

关键指标:成功率(>98%)、平均耗时(<3s)、异常IP数(=0)

技术难点突破|真实场景解析

⑴ 动态加载内容处理

问题:页面源码无数据,但浏览器开发者工具Network中可见AJAX请求

解决方案:

  • 步骤1:打开开发者工具→Network→XHR
  • 步骤2:刷新页面,筛选包含数据的请求
  • 步骤3:复制请求URL与参数,在Python中直接请求
  • 步骤4:若参数加密,分析JS源码中的加密逻辑

案例:某招聘网站岗位列表页,接口为https://api.xxx.com/jobs?city=beijing&page=2,返回JSON格式数据。直接请求即可获取岗位信息,无需Selenium。

⑵ 登录态维持

问题:采集需要登录的页面时,Cookie过期导致请求失败

解决方案:

  • 使用Session对象自动维持Cookie
  • 设置Cookie过期时间检测,自动刷新
  • 模拟登录后保存Cookie至本地文件,下次复用
session = requests.Session()
login_data = {'username':'user','password':'pass123'}
session.post('https://xxx.com/login', data=login_data)
resp = session.get('https://xxx.com/profile') # 自动携带Cookie
⑶ 数据清洗与去重

问题:采集数据含大量HTML标签、空格、重复条目

解决方案:

  • 用re.sub(r'<.*?>', '', text)去除HTML标签
  • 用str.strip()清理首尾空格
  • 用Set结构去重(基于关键字段组合)

示例:某电商商品标题含“【限时特惠】”、“【包邮】”等前缀,可正则提取核心关键词:

import re
title = "【限时特惠】小米14手机【包邮】"
clean_title = re.sub(r'[【】].*?[【】]', '', title) # "小米14手机"
⑷ 大规模数据采集

问题:单机采集百万级页面时内存溢出、速度慢

解决方案:

  • 使用异步框架aiohttp+asyncio提升并发效率
  • 分页队列处理,避免一次性加载所有URL
  • 结果实时写入数据库,而非内存缓存

性能对比:同步requests单线程约50页/秒;aiohttp异步10线程可达1200页/秒。

法律与伦理边界|爬虫工程师必读

《网络安全法》第27条

任何个人不得从事非法侵入他人网络、干扰他人网络正常功能及其防护措施的活动。

合法采集原则

① 遵守 robots.txt 协议(如https://example.com/robots.txt)
② 控制请求频率(建议≤2次/秒)
③ 不绕过身份验证或加密措施
④ 不用于商业目的(需授权)

高风险行为

  • 采集个人隐私数据(身份证、手机号、住址)
  • 绕过验证码或登录限制
  • 大规模采集导致服务器过载(DDoS攻击性质)
  • 将采集数据直接转售或公开发布

真实案例:2023年某公司因爬取某地图API数据并转售,被判赔偿50万元+公开道歉。

合规建议

  • 采集前检查目标网站robots.txt
  • 添加Contact信息至User-Agent(如:Mozilla/5.0 (compatible; MyCrawler/1.0; +http://mysite.com/contact))
  • 建立请求日志,记录时间/URL/IP,便于溯源
  • 商业项目务必签署数据授权协议

延伸阅读:《个人信息保护法》第13条明确,为履行法定职责或合同义务所必需,可处理个人信息——但需采取严格保护措施。

职业发展路径|从学习到就业

岗位需求

爬虫工程师常见于以下方向:

  • 〈数据服务商〉如天眼查、企查查——企业信息采集
  • 〈电商公司〉——竞品监控、价格追踪
  • 〈金融科技〉——舆情监测、风险预警
  • 〈科研机构〉——学术文献、政策文件归集

2024年主流招聘平台显示:爬虫工程师平均月薪15K-25K,资深岗可达35K+

能力模型

  • 基础技能:Python语法、HTTP协议、正则表达式
  • 进阶技能:Selenium自动化、JS逆向基础、数据库操作
  • 加分项:Docker部署、分布式架构、数据分析能力
  • 职业素养:法律意识、反爬对抗思维、文档能力
  • 学习路线图

    第1月

    基础掌握

    完成requests+BeautifulSoup实战,爬取50个静态页面

    第2月

    动态突破

    掌握Selenium+DevTools分析,处理JS渲染页面

    第3月

    项目实战

    独立开发招聘数据看板,完成数据存储与可视化

    第4月+

    持续深化

    研究反反爬技术、部署生产环境、参与开源项目

    实战演示|采集新闻列表

    目标网站:https://example-news.com(模拟站点,仅作教学演示)

    采集内容:标题、链接、发布时间、来源

    步骤1:分析页面结构

    右键→检查,发现新闻列表位于<div class="news-list">中,每条新闻为<div class="news-item">,标题在<a class="title">内。

    步骤2:编写采集脚本

    import requests
    from bs4 import BeautifulSoup
    # 设置请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36'
    }
    # 发送请求
    resp = requests.get('https://example-news.com', headers=headers, timeout=10)
    resp.encoding = 'utf-8'
    # 解析HTML
    soup = BeautifulSoup(resp.text, 'lxml')
    news_items = soup.select('.news-list .news-item')
    # 提取数据
    for item in news_items[:5]:  # 仅展示前5条
        title = item.select_one('.title').text.strip()
        link = item.select_one('.title')['href']
        time = item.select_one('.time').text.strip()
        source = item.select_one('.source').text.strip()
        print(f"{title}|{source}|{time}|{link}")

    步骤3:结果输出

    标题来源时间链接
    Python 3.13发布新特性开发者头条2024-11-12https://dev.io/py313
    爬虫工程师如何应对反爬?知乎技术社区2024-11-10https://zhihu.com/crawler
    数据采集合规指南更新网信办官网2024-11-08https://cac.gov.cn/guide
    零基础学Python:爬虫入门CSDN博客2024-11-05https://blog.csdn.net/python-crawler
    企业级爬虫架构实践InfoQ中文站2024-11-01https://www.infoq.cn/architecture

    高频问题解答|新手常见误区

    Q1:为什么我的爬虫能采集部分页面,但有些返回403?

    A:403表示服务器拒绝请求。可能原因:

    • 缺少User-Agent或Referer头
    • 请求频率过高触发限流
    • IP被封禁(尝试更换代理IP)
    • 目标页面需登录态
    Q2:BeautifulSoup和lxml哪个更快?

    A:lxml解析速度更快(C语言实现),但BeautifulSoup语法更直观。推荐组合:用requests获取页面,lxml解析;复杂页面用BeautifulSoup。

    Q3:爬虫会破坏目标网站吗?

    A:合理频率下不会。正常用户访问与爬虫本质无异,关键在“不扰民”——控制并发、遵守robots.txt、避免高负载请求。

    Q4:如何处理验证码?

    A:建议优先绕过(如分析Cookie/Token),其次使用第三方打码平台(如超级鹰),最后考虑Selenium模拟人工操作。但需注意:绕过验证码可能涉及法律风险,务必评估合规性。

    Q5:采集的数据能直接用吗?

    A:不能!需清洗:去除HTML标签、标准化时间格式、去重、验证数据完整性。建议使用pandas进行批量清洗,如:

    import pandas as pd
    df = pd.read_csv('raw_data.csv')
    df['date'] = pd.to_datetime(df['date'], errors='coerce')
    df.drop_duplicates(subset=['title'], inplace=True)

    关于我们|专注爬虫教学5年

    我们是一支由资深数据工程师、Python讲师、法律合规顾问组成的教学团队,累计服务学员超20,000人。课程内容严格遵循《网络安全法》要求,强调“技术向善、合规第一”。

    我们的承诺:

    • 所有案例均脱敏处理,不涉及真实商业数据
    • 提供完整学习路径图与检查清单
    • 每季度更新反爬应对方案
    • 建立学员互助社区,解答技术难题

    联系方式:contact@xservx.com|微信公众号:零基础学爬虫