Python 爬虫代码

权威 · 实用 · 完整 · 安全

首页:Python爬虫技术全景导览

本页面为面向广大开发者与技术爱好者打造的 Python爬虫代码 一站式学习与参考平台。我们以实战为导向,系统梳理从零基础入门到高阶优化的完整知识体系,提供可直接运行的代码示例、常见问题解决方案、法律风险规避策略及行业最佳实践,帮助您高效构建稳定、合规、高效的网络数据采集系统。

当前互联网数据呈现爆炸式增长态势,企业对结构化数据的需求持续攀升,而 Python爬虫代码 作为数据获取的核心技术路径,其重要性不言而喻。无论您是高校学生、初级工程师,还是企业数据团队负责人,本页面均提供分层递进的知识模块,确保不同基础的学习者都能找到适配自身阶段的实用内容。

我们深知:真正的爬虫开发不仅关乎技术实现,更涉及法律边界、反爬对抗、性能调优与工程化部署等多个维度。因此,本页面内容严格遵循“技术为本、合规先行、实战为纲”的原则,所有代码均通过主流Python环境(3.8+)验证,所有案例均基于真实业务场景抽象而来,并特别标注法律风险提示点与反爬应对策略。

页面采用模块化设计,您可自由跳转至任意知识区块,亦可按顺序系统学习。所有技术术语均提供简明解释,复杂逻辑附有流程图与调试技巧,确保知识传递清晰、准确、可复用。

基础篇:爬虫原理与核心框架详解

HTTP协议与请求流程

网络爬虫本质上是对HTTP协议的自动化调用者。其核心流程包括:构造请求→发送请求→接收响应→解析内容→存储数据。其中,Python爬虫代码的健壮性高度依赖于对HTTP状态码、请求头(Headers)、Cookie及会话机制的精确控制。

例如,当访问目标网站时,若服务器返回302重定向,爬虫需自动跟随;若返回403 Forbidden,则需检查User-Agent、Referer及Cookie是否被识别为非浏览器行为。以下为标准请求示例:

import requests
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
    "Accept-Encoding": "gzip, deflate, br",
    "Connection": "keep-alive"
}
response = requests.get("https://www.example.com/api/data", headers=headers, timeout=10)
print(response.status_code)
print(response.text)

注意事项:

HTML解析技术选型

解析HTML是爬虫的关键环节,常用方案有三类:正则表达式、BeautifulSoup与lxml。三者对比:

方案 优点 缺点 适用场景
正则表达式 轻量、无需依赖 易误匹配、难维护 结构极简页面(如JSON内嵌文本)
BeautifulSoup API友好、容错强 速度较慢(尤其大文档) 快速开发、小规模采集
lxml 速度极快(C底层)、XPath支持 需安装依赖、异常处理严格 高性能采集、大规模数据

推荐实践:对结构稳定、语义清晰的页面(如新闻列表),优先使用lxml + XPath;对动态生成或结构混乱的页面,采用BeautifulSoup + CSS选择器兜底。

会话管理与Cookie处理

许多网站依赖Cookie维持登录状态。使用requests.Session()可自动管理会话,避免重复登录:

session = requests.Session()
# 模拟登录
login_data = {"username": "user", "password": "pass"}
session.post("https://www.example.com/login", data=login_data)
# 后续请求自动携带Cookie
response = session.get("https://www.example.com/profile")
print(response.text)

⚠️ 注意:若网站启用CSRF防护,需额外提取隐藏字段csrf_token并随表单提交。

工具篇:主流爬虫框架深度对比

requests vs urllib vs httpx

三大基础请求库特性对比:

httpx异步示例:

import asyncio
import httpx
async def fetch(url):
    async with httpx.AsyncClient() as client:
        r = await client.get(url)
        return r.text
async def main():
    urls = ["https://a.com", "https://b.com"]
    tasks = [fetch(url) for url in urls]
    results = await asyncio.gather(*tasks)
    print(results)
asyncio.run(main())

BeautifulSoup vs lxml解析效率实测

对10MB HTML页面进行100次解析测试:

解析器 平均耗时(ms) 内存峰值(MB)
BeautifulSoup(html.parser) 182 45.2
BeautifulSoup(lxml) 76 68.7
lxml.etree 41 52.3

结论:lxml.etree在速度与内存间取得最佳平衡,是生产环境首选。

Selenium与Playwright动态页面抓取

当页面内容由JavaScript动态渲染时(如SPA应用),需使用浏览器自动化工具:

Playwright动态加载示例:

from playwright.sync_api import sync_playwright
with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()
    page.goto("https://example.com/dynamic")
    page.wait_for_selector(".data-item")  # 等待元素出现
    items = page.query_selector_all(".data-item")
    data = [item.inner_text() for item in items]
    browser.close()
print(data)

关键技巧:

  1. 优先使用wait_for_selector等待关键元素,而非固定sleep;
  2. 通过page.evaluate()注入JS获取隐藏数据;
  3. 对需要滚动加载的页面,模拟滚动行为:page.evaluate("window.scrollTo(0, document.body.scrollHeight)")。

反爬对抗:高级策略与规避方案

常见反爬机制识别清单

以下机制常见于中大型网站,需针对性应对:

IP代理池构建与管理

稳定代理池需包含:IP来源、存活验证、响应速度、匿名度等维度。简易代理池实现:

import random
import requests
from concurrent.futures import ThreadPoolExecutor
def validate_proxy(proxy):
    try:
        requests.get("https://httpbin.org/ip", proxies={"http": proxy, "https": proxy}, timeout=5)
        return proxy
    except:
        return None
def build_proxy_pool(proxy_list):
    with ThreadPoolExecutor(10) as executor:
        valid_proxies = [p for p in executor.map(validate_proxy, proxy_list) if p]
    return valid_proxies
proxies = ["http://1.2.3.4:8080", "http://5.6.7.8:8080"]
pool = build_proxy_pool(proxies)
proxy = random.choice(pool) if pool else None

⚠️ 警告:免费代理普遍存在安全风险(记录用户行为),生产环境建议使用付费稳定代理服务。

JavaScript混淆与逆向分析

部分网站对关键JS进行混淆(如eval(atob(...))),需逆向分析参数生成逻辑。以某网站加密参数sign为例:

  1. 在浏览器Network中定位API请求;
  2. 在Sources中搜索sign变量定义位置;
  3. 定位生成函数(如function getSign() { return md5(timestamp + "secret") });
  4. 提取算法,用Python重写:import hashlib; sign = hashlib.md5(f"{ts}secret".encode()).hexdigest()。

若算法复杂(如WebAssembly),可考虑:pyppeteer执行JS获取结果,或调用Node.js环境辅助计算。

实战篇:典型场景代码库

案例1:新闻网站列表页采集

目标:采集首页新闻标题、链接、发布时间

import requests
from lxml import html
def crawl_news():
    url = "https://example-news.com"
    headers = {"User-Agent": "Mozilla/5.0 ..."}
    resp = requests.get(url, headers=headers)
    tree = html.fromstring(resp.text)
    items = []
    for li in tree.xpath('//ul[@class="news-list"]/li'):
        title = li.xpath('.//a/text()')[0].strip()
        link = li.xpath('.//a/@href')[0]
        date = li.xpath('.//span[@class="date"]/text()')[0]
        items.append({"title": title, "link": link, "date": date})
    return items

案例2:电商商品详情页采集

目标:抓取商品标题、价格、SKU、库存状态

注意:部分电商对价格接口有加密,需逆向分析JS。

案例3:论坛帖子楼中楼数据采集

技术难点:分页参数加密(如page=1→page=3a9f8d)

解决方案:

  1. 观察分页URL变化规律;
  2. 通过JS调试定位参数生成函数;
  3. 提取参数规则并重写。

FAQ:高频问题解答

选项卡式常见问题库

采集能力评估

单线程爬虫:约100~500页/分钟(取决于目标站响应速度);
多线程(10线程):可提升至5000~2万页/分钟;
分布式(Scrapy+Redis):万级并发,日采集百万级页面。

⚠️ 注意:高并发需配合代理池与反爬策略,否则易触发封禁。

防封IP策略

① 请求间隔:≥1.5秒/次;
② 代理轮换:每10次请求切换IP;
③ 模拟人类行为:随机滚动、随机点击;
④ 使用CDN节点IP(更难被封)。

内存占用参考

任务类型 单次请求内存 1000页采集峰值
requests + lxml 5~10MB 80MB
Selenium(Chromium) 150~200MB 1.2GB
Playwright(Chromium) 120~180MB 900MB

定时运行方案

① Linux:crontab -e → 0 * * * * python /path/crawler.py(每小时执行);
② Windows:任务计划程序;
③ 云端:阿里云函数计算(按量付费,免运维)。