Python爬虫技术交流群:87654321|扫码加入学习社群

Python简单的爬虫教程

爬虫是什么?为何值得学习

网络爬虫(Web Crawler)是一种按照一定规则,自动抓取互联网信息的程序或脚本。早期搜索引擎(如Google、百度)的核心组件即为大规模分布式爬虫系统,它们持续遍历网页、提取内容、建立索引库,从而支撑起现代互联网的信息检索服务。如今,爬虫技术已广泛应用于:舆情监控、竞品分析、市场调研、学术研究、数据 journalism 等多个领域。

Python之所以成为爬虫开发的首选语言,源于其三大核心优势:第一,语法简洁,接近自然语言,大幅降低初学者门槛;第二,生态成熟,拥有requests、BeautifulSoup、lxml、selenium、playwright等高质量开源库;第三,社区活跃,文档完善,问题易查、易解。尤其对于非计算机专业背景的用户(如市场分析师、记者、学生),Python爬虫是快速掌握“数据采集→清洗→分析”全链路的高效入口。

但需特别注意:爬虫技术具有法律与道德双重属性。根据《中华人民共和国网络安全法》第27条,任何个人不得从事危害网络安全的活动,包括提供专门用于从事侵入网络、干扰网络正常功能及其防护措施的程序或工具。这意味着:不尊重robots.txt协议、绕过身份验证强行抓取、高频请求导致服务器崩溃 等行为均可能构成违法。合法爬虫应遵循“三原则”:尊重意愿(robots.txt)、控制频率(限速/重试)、仅用于非商业分析(避免直接销售数据)。

本教程面向零基础学员,以“安全、合规、实用”为设计原则,不涉及任何突破技术防护的灰色手段,重点讲解如何通过标准HTTP协议获取公开数据,并辅以真实场景的案例解析,帮助您建立可持续的数据采集能力。无论您是希望提升职场竞争力的职场新人,还是希望拓展研究维度的学术研究者,本教程都将提供清晰的路线图与可复用的代码模板。

爬虫必备工具链全景图

构建一个完整爬虫系统,需组合多种工具协同工作。以下按功能层级分类说明:

1. 请求层:数据获取的起点

  • requests:最主流的HTTP库,支持GET/POST、会话保持、Cookies、代理、重试等。适用于绝大多数静态页面抓取。
  • httpx:requests的现代替代品,同步异步统一API,支持HTTP/2与异步并发,适合高并发场景。
  • urllib:Python标准库自带,功能较基础,但无需额外安装,适合简单任务或学习原理。

2. 解析层:从HTML中提取结构化数据

  • BeautifulSoup:基于html.parser或lxml解析器,API友好,支持CSS选择器,适合结构较乱的页面。
  • lxml:基于C语言实现的解析器,速度极快,支持XPath表达式,适合大型项目或性能敏感场景。
  • re(正则表达式):直接匹配文本模式,灵活但易出错,仅推荐用于简单、确定性高的提取。

3. 渲染层:处理动态加载内容

  • selenium:通过控制真实浏览器(Chrome/Firefox)执行JS,支持复杂交互(点击、滚动),但资源消耗大。
  • playwright:微软开源新锐工具,比Selenium更快更稳,支持多浏览器、自动等待、网络拦截,是未来趋势。
  • 开发者工具抓包:当JS逻辑复杂时,直接分析网络请求中的API接口(通常返回JSON),绕过前端渲染,是最高效的方案。

4. 工具层:提升效率与稳定性

  • fake-useragent:自动轮换User-Agent,降低被识别为机器人的风险。
  • proxy-pool:管理代理IP池,实现IP轮换与失效检测。
  • loguru:结构化日志记录,便于调试与问题追踪。
  • sqlite3 / pandas:本地数据存储与分析,支持CSV/Excel导出。

初学者建议从requests + BeautifulSoup组合起步,掌握基础后逐步引入selenium与反爬策略。以下代码片段展示一个最小可用爬虫模板:

import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36'
}
# 发起GET请求
url = 'https://example.com/data'
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'  # 明确编码避免乱码
# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.select_one('h1.title').get_text(strip=True)
print(f'页面标题:{title}')  # 提取并输出标题

从零搭建第一个爬虫:静态页面实战

以抓取“豆瓣电影Top250”为例(该站点公开数据且无强反爬,适合新手练习)。目标字段包括:电影名称、评分、评价人数、导演与主演、年份与国家、一句话评价。

步骤1:分析网页结构

打开开发者工具(F12),定位到电影条目区域,发现每部电影对应一个

元素,结构如下:

<div class="item">
  <div class="pic">...</div>
  <div class="info">
    <div class="hd">
      <span class="title">肖申克的救赎</span>
      <span class="other"> / The Shawshank Redemption</span>
    </div>
    <div class="bd">
      <p class="">
        导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins /...<br>
        1994 / 美国 / 犯罪 剧情</p>
      <div class="star">
        <span class="rating_num" property="v:average">9.7</span>
        <span property="v:best" content="10.0"></span>
        <span>1500000人评价</span>
      </div>
      <p class="quote">
        <span class="inq">希望让人自由。</span>
      </p>
    </div>
  </div>
</div>

步骤2:编写解析逻辑

根据HTML结构,使用BeautifulSoup的CSS选择器提取关键字段:

def parse_movie(item):
    # 电影名称(优先取中文名)
    title_span = item.select_one('.hd .title')
    title = title_span.get_text(strip=True) if title_span else '无标题'
    # 评分与评价人数
    rating = item.select_one('.rating_num').get_text(strip=True)
    rating_count = item.select_one('.star span:nth-of-type(3)').get_text(strip=True)
    # 导演、主演、年份、国家(从

中提取) p_text = item.select_one('.bd p').get_text('\n', strip=True) lines = p_text.split('\n') director = lines[0].replace('导演: ', '').split('/')[0].strip() year_country = lines[-1] # 拆分年份与国家 year = year_country.split('/')[0].strip() if '/' in year_country else year_country country = '/'.join(year_country.split('/')[1:]).strip() if '/' in year_country else '' # 一句话评价 quote = item.select_one('.quote .inq') quote_text = quote.get_text(strip=True) if quote else '暂无' return { 'title': title, 'rating': float(rating), 'rating_count': int(rating_count.replace('人评价', '').replace(',', '')), 'director': director, 'year': year, 'country': country, 'quote': quote_text }

步骤3:翻页处理与数据持久化

豆瓣Top250共10页(每页25部),URL规律为https://movie.douban.com/top250?start=0(第1页)、?start=25(第2页)……

import csv
from time import sleep
all_movies = []
for page in range(10):
    start = page * 25
    url = f'https://movie.douban.com/top250?start={start}&filter='
    print(f'正在抓取第{page+1}页...')
    response = requests.get(url, headers=headers)
    response.encoding = 'utf-8'
    soup = BeautifulSoup(response.text, 'html.parser')
    items = soup.select('.item')
    for item in items:
        movie = parse_movie(item)
        all_movies.append(movie)
    sleep(2)  # 限速:避免请求过快
# 保存为CSV
with open('douban_top250.csv', 'w', encoding='utf-8-sig', newline='') as f:
    writer = csv.DictWriter(f, fieldnames=all_movies[0].keys())
    writer.writeheader()
    writer.writerows(all_movies)
print(f'✅ 已保存{len(all_movies)}部电影数据!')

最终生成的CSV文件包含完整字段,可直接导入Excel或Pandas进行分析。此案例展示了爬虫开发的完整流程:观察→分析→编码→调试→输出,是后续所有复杂场景的基础模板。

进阶技巧:动态内容与反反爬策略

随着网站反爬能力提升,静态HTML页面越来越少,大量内容通过AJAX动态加载或JavaScript渲染生成。此时需切换策略,核心思路是:优先寻找API接口,其次考虑浏览器模拟。

场景1:直接抓取API接口(最高效)

以“知乎热榜”为例,打开开发者工具→Network→XHR,筛选请求,发现接口为:
https://www.zhihu.com/api/v3/feed/topstory/hot-lists/total?limit=10&desktop=true
该接口返回JSON格式数据,无需解析HTML,直接提取即可:

import requests
url = 'https://www.zhihu.com/api/v3/feed/topstory/hot-lists/total?limit=10&desktop=true'
headers = {
    'User-Agent': 'Mozilla/5.0',
    'Authorization': 'oauth c3cef7c66a118435bf6f46614b5b5e3'  # 知乎固定OAuth token
}
response = requests.get(url, headers=headers)
data = response.json()
for item in data['data']:
    title = item['target']['title']['content']
    excerpt = item['target']['excerpt']['content']
    print(f'[{item["target"]["created"]}] {title}\n{excerpt}\n')  # 输出标题与摘要

场景2:Selenium模拟浏览器(应对强JS渲染)

当API不可用时,需使用Selenium控制浏览器执行JS。以下为抓取“链家二手房”列表页的示例:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 启动无头浏览器(节省资源)
options = webdriver.ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(options=options)
try:
    driver.get('https://cd.lianjia.com/ershoufang/')
    # 等待关键元素加载完成
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, '.list-content .house-title'))
    )
    # 提取房源标题与价格
    titles = driver.find_elements(By.CSS_SELECTOR, '.list-content .house-title a')
    prices = driver.find_elements(By.CSS_SELECTOR, '.total-price span')
    for title, price in zip(titles, prices):
        print(f'{title.text} | {price.text}万')
finally:
    driver.quit()
⚠️ 注意:Selenium操作浏览器较慢,应仅在必要时使用。生产环境建议结合Playwright(支持异步)或直接分析API。

反爬对策:如何让爬虫更“像人”

网站反爬手段主要分为三类:请求特征识别、行为轨迹分析、数据校验加密。以下提供可落地的应对方案:

请求头伪装:让服务器无法识别为爬虫

标准请求头应包含:User-Agent(浏览器标识)、Accept(支持的MIME类型)、Accept-Language(语言偏好)、Referer(来源页面)等。示例:

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
    'Referer': 'https://www.example.com/',
    'Connection': 'keep-alive'
}

使用fake-useragent自动轮换User-Agent,降低特征一致性:

from fake_useragent import UserAgent
ua = UserAgent()
# 每次请求随机生成User-Agent
headers = {'User-Agent': ua.random}

请求频率控制:避免触发限流

高频请求易被封IP。合理策略包括:固定延迟(sleep固定秒数)、随机延迟(模拟人类操作波动)、失败重试(指数退避)。示例:

import random
import time
def smart_request(url, max_retries=3):
    for attempt in range(max_retries):
        try:
            response = requests.get(url, headers=headers, timeout=10)
            if response.status_code == 200:
                return response
            elif response.status_code == 429:  # Too Many Requests
                wait_time = 2 ** attempt  # 指数退避
                print(f'限流!等待{wait_time}秒后重试')
                time.sleep(wait_time)
        except requests.exceptions.RequestException as e:
            print(f'请求失败: {e}')
            time.sleep(3)
    return None
# 使用示例
response = smart_request('https://example.com/data')
time.sleep(random.uniform(1.5, 3.5))  # 随机延迟

IP代理池:突破单IP限制

当单IP被封时,需启用代理IP池。免费代理不稳定,建议使用付费服务(如快代理、阿布云)。示例:

proxies = {
    'http': 'http://username:password@proxy.ip:port',
    'https': 'https://username:password@proxy.ip:port'
}
response = requests.get(url, headers=headers, proxies=proxies, timeout=10)

注意:代理IP需定期检测可用性,自动剔除失效IP,保持池活跃度。

模拟登录:处理需要认证的页面

以“微博”为例,登录流程通常涉及:获取登录页→提取加密参数→提交表单→保存Cookies。简化流程如下:

session = requests.Session()
# 1. 获取登录页,提取加密参数
login_page = session.get('https://weibo.com/login.php')
# ... 解析加密参数(如nonce、pubkey等)
# 2. 构建加密后的表单数据
login_data = {
    'username': 'encrypted_username',
    'password': 'encrypted_password',
    # ... 其他必要字段
}
# 3. 提交登录
login_resp = session.post('https://login.sina.com.cn/sso/login.php', data=login_data)
# 4. 保存Cookies供后续请求使用
cookies = session.cookies.get_dict()

注意:微博等平台已采用复杂加密,建议直接调用已开源的登录库(如weibo-crawler),避免重复造轮子。

综合实战:构建可复用的爬虫框架

以下展示一个模块化爬虫框架,整合上述所有技术点,支持多源数据采集与统一存储:

核心设计思路

  • 配置驱动:通过YAML文件定义各网站的URL、解析规则、请求头,避免硬编码
  • 插件化解析:每个网站实现独立的Parser类,继承基类
  • 任务队列:使用queue + threading实现并发采集
  • 日志与监控:实时记录抓取状态,异常自动告警

配置文件 example.com.yaml

site_name: Example News
base_url: https://example.com/news
parser_module: parsers.example_parser
requests:
  headers:
    User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
  proxies: null  # 可填入代理池配置
  delay_range: [1.0, 2.5]  # 随机延迟区间
selectors:
  list_item: '.news-item'
  title: 'h2 a'
  date: '.meta .date'
  link: 'h2 a@href'

解析器示例 parsers/example_parser.py

from bs4 import BeautifulSoup
from datetime import datetime
class ExampleParser:
    def __init__(self, html_content):
        self.soup = BeautifulSoup(html_content, 'html.parser')
    def parse_list(self):
        """解析列表页,提取新闻链接"""
        items = []
        for item in self.soup.select('.news-item'):
            title_el = item.select_one('h2 a')
            if not title_el:
                continue
            title = title_el.get_text(strip=True)
            link = title_el.get('href')
            date = item.select_one('.meta .date').get_text(strip=True)
            items.append({
                'title': title,
                'link': link,
                'date': date,
                'source': 'Example News'
            })
        return items
    def parse_detail(self, html_content):
        """解析详情页,提取正文"""
        soup = BeautifulSoup(html_content, 'html.parser')
        content = soup.select_one('.article-content')
        if content:
            # 清除脚本与样式
            for tag in content(['script', 'style']):
                tag.decompose()
            return content.get_text('\n', strip=True)
        return ''

调度器主逻辑 main.py

import yaml
import requests
from concurrent.futures import ThreadPoolExecutor
from parsers.example_parser import ExampleParser
def fetch_and_save(url, parser_class):
    try:
        response = requests.get(url, headers=headers, timeout=10)
        if response.status_code == 200:
            parser = parser_class(response.text)
            if '/list' in url:
                return parser.parse_list()
            else:
                return parser.parse_detail(response.text)
    except Exception as e:
        print(f'抓取失败 {url}: {e}')
    return None
# 加载配置
with open('example.com.yaml') as f:
    config = yaml.safe_load(f)
headers = config['requests']['headers']
parser_class = ExampleParser
# 并发抓取列表页
with ThreadPoolExecutor(max_workers=5) as executor:
    futures = []
    for page in range(1, 4):  # 抓取前3页
        url = f"{config['base_url']}/list?page={page}"
        futures.append(executor.submit(fetch_and_save, url, parser_class))
    all_items = []
    for future in futures:
        result = future.result()
        if result:
            all_items.extend(result)
print(f'共获取{len(all_items)}条新闻摘要')
# 保存为JSON
import json
with open('news_data.json', 'w', encoding='utf-8') as f:
    json.dump(all_items, f, ensure_ascii=False, indent=2)

该框架通过配置驱动实现“零代码修改”适配新网站,解析逻辑与调度逻辑分离,便于维护与扩展,是生产环境的理想基础架构。

高频问题解答:新手必看

Q1:爬虫获取的数据能商用吗?

A:原则上,公开数据可个人分析使用,但商用需谨慎。根据《民法典》第1034条,数据权益受保护;《反不正当竞争法》第12条明确禁止“未经用户同意收集数据”。建议:仅用于内部研究、不直接销售原始数据、脱敏后二次加工(如生成行业报告)。

Q2:如何判断网站是否允许爬取?

A:首要检查robots.txt协议(如https://www.zhihu.com/robots.txt),其中明确标注允许/禁止的路径。其次观察网站声明(通常在“法律声明”或“隐私政策”中)。若协议禁止,则应主动放弃,避免法律风险。

Q3:为什么爬取的数据有乱码?

A:常见原因为编码未正确设置。解决方案:检查response.headers.get('Content-Type')获取声明编码;尝试response.apparent_encoding(chardet库自动检测);手动指定encoding='utf-8'或'gbk'。若仍乱码,可能是gzip压缩,需添加headers['Accept-Encoding'] = 'gzip'。

Q4:如何处理登录后才能访问的页面?

A:优先分析登录请求的API接口(抓包工具Fiddler/Charles),直接调用;其次使用Selenium模拟登录,保存Cookies到本地文件,后续请求复用;最后考虑OCR识别验证码(仅限简单图形验证码,复杂滑块不建议)。注意:登录态有有效期,需定期刷新。

Q5:爬虫速度太慢怎么办?

A:优化路径:优先使用API而非页面解析;开启并发(ThreadPoolExecutor或asyncio);缓存已抓取页面(避免重复请求);跳过非必要元素(如图片、CSS)。但需平衡效率与合规性,切忌盲目提速导致IP被封。