python爬虫代码怎么写|全网最全实战指南

备案号:蜀ICP备2026035467号-3 · 网址:www.xservx.com · Python爬虫实战社区

一、python爬虫代码怎么写?核心流程解析

编写python爬虫代码怎么写是数据采集领域的基础能力。从技术角度看,一个完整的爬虫系统包含:请求发送→响应接收→内容解析→数据存储四大环节。新手常犯的错误是直接跳过前两步盲目解析,导致代码稳定性差。

爬虫运行原理图解

浏览器访问网页时执行以下流程:

  1. 客户端向服务器发起HTTP请求(GET/POST)
  2. 服务器返回HTML文档、CSS/JS资源、JSON数据等
  3. 浏览器解析DOM树并渲染页面
  4. 爬虫模拟浏览器行为,直接获取原始响应数据

关键区别在于:浏览器会执行JavaScript,而基础爬虫只获取静态内容。这也是为什么有些网站需要Selenium等工具介入。

最小可用爬虫模板

以下为最简可运行的python爬虫代码怎么写基础模板,仅需三个依赖:

import requests
from bs4 import BeautifulSoup
# 1. 发送请求
url = "https://example.com"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"}
response = requests.get(url, headers=headers)
# 2. 解析内容
soup = BeautifulSoup(response.content, "html.parser")
# 3. 提取数据
title = soup.find("title").get_text()
print(f"页面标题:{title}")
# 4. 保存数据(示例:保存为txt)
with open("output.txt", "w", encoding="utf-8") as f:
    f.write(f"标题:{title}\n内容:{soup.body.get_text()[:200]}...")

此模板已解决90%的静态页面采集需求。注意:User-Agent必须设置,否则多数网站会返回403错误。实际开发中应使用真实设备指纹头信息。

数据验证三要素

编写python爬虫代码怎么写后必须验证三个关键点:

常见错误是忽略编码问题,导致中文乱码。正确做法:

# 自动检测编码
response.encoding = response.apparent_encoding

二、python爬虫必备工具链

核心工具对比表

工具适用场景是否执行JS学习曲线性能
requests静态页面采集否★☆☆☆☆★★★★★
BeautifulSoupHTML解析否★☆☆☆☆★★★☆☆
lxml高性能解析否★★☆☆☆★★★★★
Selenium动态页面采集是★★★☆☆★★☆☆☆
Pyppeteer无头浏览器控制是★★★☆☆★★★☆☆

工具组合方案

根据需求选择组合方案:

  1. 静态页面方案:requests + BeautifulSoup → 轻量级采集
  2. 混合方案:requests + lxml → 高性能解析
  3. 动态页面方案:Selenium + BeautifulSoup → 兼顾兼容性
  4. 高级方案:Pyppeteer + 自定义解析器 → 完整浏览器模拟

requests高级用法

处理复杂请求时需掌握:

  • 自定义headers:添加Cookie、Referer、Accept-Language
  • 参数编码:params={"q": "python爬虫"}自动转义URL
  • 会话管理:session = requests.Session()保持登录态
  • 超时控制:timeout=5防止无限等待
  • 流式下载:stream=True处理大文件

示例:模拟登录POST请求

import requests
session = requests.Session()
data = {
    "username": "test_user",
    "password": "123456"
}
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
    "Referer": "https://example.com/login"
}
# 1. 获取登录页面(可能含CSRF token)
login_page = session.get("https://example.com/login")
# 2. 提取CSRF token(示例)
from bs4 import BeautifulSoup
soup = BeautifulSoup(login_page.content, "html.parser")
csrf_token = soup.find("input", {"name": "csrf_token"})["value"]
# 3. 提交登录表单
data["csrf_token"] = csrf_token
response = session.post("https://example.com/login", data=data, headers=headers)
# 4. 验证登录状态
profile = session.get("https://example.com/profile")
print("登录成功" if "退出登录" in profile.text else "登录失败")

三、解析技术深度解析

解析技术选择矩阵

需求推荐方案理由
简单标签提取BeautifulSoupAPI友好,适合初学者
复杂文档结构lxml XPath性能高,支持复杂路径
JSON数据json.loads()原生支持,无需解析HTML
正则匹配re模块唯一能处理非结构化文本的工具

BeautifulSoup实战技巧

编写python爬虫代码怎么写时,BeautifulSoup的find_all方法有以下关键技巧:

示例:提取新闻列表

# 提取所有新闻标题和链接
news_items = soup.select("div.news-item")
for item in news_items:
    title = item.find("h3").get_text(strip=True)
    link = item.find("a")["href"]
    # 拼接完整URL
    full_url = urljoin(url, link)
    print(f"{title} → {full_url}")

lxml XPath深度应用

XPath是爬虫解析的终极武器,尤其适合结构化数据:

from lxml import html
tree = html.fromstring(response.content)
# 绝对路径
title = tree.xpath("/html/head/title/text()")[0]
# 相对路径
content = tree.xpath("//div[@class='article']//p/text()")
# 属性提取
links = tree.xpath("//a/@href")
# 条件过滤
specific = tree.xpath("//li[contains(@class, 'item') and @data-id > 10]")
# 文本处理
clean_text = tree.xpath("normalize-space(//div[@id='main'])")

XPath表达式技巧:

正则表达式高频模式

处理非结构化文本时必备技能:

import re
# 提取邮箱
emails = re.findall(r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}", text)
# 提取手机号
phones = re.findall(r"1[3-9]\d{9}", text)
# 提取URL
urls = re.findall(r'https?://[^\s]+', text)
# 提取数字(含小数)
numbers = re.findall(r"\d+\.?\d*", text)
# 非贪婪匹配
content = re.search(r'
(.*?)
', html, re.S).group(1) # 多行匹配 re.findall(r'(?m)^.*pattern.*$', text, re.I)

四、反爬策略应对方案

反爬机制类型表

类型表现形式应对方案代码示例
请求头检测User-Agent缺失伪造完整请求头headers={"User-Agent": "Mozilla/5.0..."}
IP封禁频繁请求被封IP轮换+请求间隔time.sleep(random.uniform(1,3))
Cookie验证需登录态会话保持+自动登录session = requests.Session()
JS动态加载数据由JS生成Selenium/Pyppeteerdriver.get(url)
签名验证请求参数加密逆向JS或抓包分析分析_0x3a4b参数生成逻辑

IP轮换实现方案

基础代理池实现:

import random
import requests
# 代理列表(实际应从API获取)
proxies_pool = [
    {"http": "http://192.168.1.1:8080"},
    {"http": "http://192.168.1.2:8080"},
    {"https": "https://192.168.1.3:8080"}
]
def get_with_proxy(url):
    proxy = random.choice(proxies_pool)
    try:
        response = requests.get(url, proxies=proxy, timeout=5)
        return response
    except:
        # 失败时重试
        return get_with_proxy(url)
# 使用示例
response = get_with_proxy("https://example.com")

加密参数破解流程

  1. 打开目标网站开发者工具 → Network标签
  2. 触发请求(如点击按钮)
  3. 找到可疑请求(如/_0x3a4b参数)
  4. 在Sources中搜索参数名
  5. 设置断点观察执行过程
  6. 提取加密逻辑或直接复现

典型案例:某招聘网站的sign参数生成

import hashlib
import time
def generate_sign(params):
    """模拟JS加密逻辑"""
    timestamp = str(int(time.time()))
    sorted_params = sorted(params.items())
    raw = "".join(f"{k}{v}" for k, v in sorted_params) + timestamp + "secret_key"
    return hashlib.md5(raw.encode()).hexdigest()
# 实际请求
params = {"page": 1, "size": 20}
sign = generate_sign(params)
response = requests.get(url, params={**params, "sign": sign})

验证码识别方案

三种主流方案:

  1. 第三方打码平台:超级鹰、若快等(需付费)
  2. OCR识别:pytesseract + tesseract-ocr
  3. 手动处理:Selenium截图+人工输入

OCR方案示例:

import pytesseract
from PIL import Image
# 1. 截取验证码图片
driver.save_screenshot("full.png")
captcha = driver.find_element("id", "captcha")
location = captcha.location
size = captcha.size
left = location["x"]
top = location["y"]
right = left + size["width"]
bottom = top + size["height"]
# 2. 裁剪图片
img = Image.open("full.png").crop((left, top, right, bottom))
img.save("captcha.png")
# 3. 识别
text = pytesseract.image_to_string(img, config="--psm 7")
print(f"验证码:{text}")

五、12类实战项目解析

新闻采集
商品比价
招聘数据
评论抓取
图片下载
视频解析

新闻站点采集实战

目标:采集搜狐首页新闻标题与链接

import requests
from bs4 import BeautifulSoup
import csv
import time
def crawl_sohu_news():
    url = "https://news.sohu.com/"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
        "Accept": "text/html,application/xhtml+xml",
        "Accept-Language": "zh-CN,zh;q=0.9"
    }
    # 发送请求
    response = requests.get(url, headers=headers)
    response.encoding = "utf-8"
    # 解析内容
    soup = BeautifulSoup(response.text, "html.parser")
    items = soup.select("div.article > h3 > a")
    # 保存数据
    with open("sohu_news.csv", "w", newline="", encoding="utf-8-sig") as f:
        writer = csv.writer(f)
        writer.writerow(["标题", "链接", "采集时间"])
        for item in items:
            title = item.get_text(strip=True)
            link = item["href"]
            # 处理相对链接
            if not link.startswith("http"):
                link = "https://news.sohu.com" + link
            writer.writerow([title, link, time.strftime("%Y-%m-%d %H:%M:%S")])
            print(f"已保存:{title}")
if __name__ == "__main__":
    crawl_sohu_news()

电商商品比价系统

核心逻辑:

  1. 京东:通过商品ID直接请求API
  2. 淘宝:需登录态+JS逆向
  3. 拼多多:动态加载+签名验证

京东示例(需处理反爬):

import requests
import re
import time
def get_jd_price(sku_id):
    """京东商品价格查询"""
    url = f"https://p.3.cn/prices/mgets?skuIds=J_{sku_id}"
    headers = {
        "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 13_0 like Mac OS X)",
        "Referer": "https://item.jd.com/"
    }
    response = requests.get(url, headers=headers)
    data = response.json()
    if data:
        return data[0]["p"]  # 现价
    return None
# 使用示例
sku = "100012345678"
price = get_jd_price(sku)
print(f"京东价格:¥{price}")

招聘网站数据采集

BOSS直聘采集要点:

  • 请求头需包含加密参数
  • 需处理JS动态渲染
  • 需模拟滚动加载

Selenium解决方案:

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
def crawl_boss_jobs(keyword):
    driver = webdriver.Chrome()
    driver.get(f"https://www.zhipin.com/web/geek/job?query={keyword}&city=101280600")
    # 模拟滚动加载
    for _ in range(3):
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
        time.sleep(2)
    # 提取数据
    jobs = driver.find_elements(By.CSS_SELECTOR, ".job-card-box")
    for job in jobs:
        title = job.find_element(By.CSS_SELECTOR, ".job-title").text
        salary = job.find_element(By.CSS_SELECTOR, ".salary").text
        company = job.find_element(By.CSS_SELECTOR, ".company-name").text
        print(f"{title} | {salary} | {company}")
    driver.quit()
crawl_boss_jobs("python")

评论数据采集

微博评论采集关键点:

  • 使用m.weibo.cn移动版(数据更全)
  • 处理分页cursor参数
  • 需处理登录态
import requests
import time
def crawl_weibo_comments(mid):
    """采集指定微博的评论"""
    url = "https://m.weibo.cn/comments/hotflow"
    headers = {
        "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 13_0 like Mac OS X)",
        "Referer": f"https://m.weibo.cn/detail/{mid}"
    }
    params = {
        "id": mid,
        "mid": mid,
        "max_id_type": 0
    }
    max_id = ""
    for page in range(3):  # 采集3页
        if max_id:
            params["max_id"] = max_id
        response = requests.get(url, headers=headers, params=params)
        data = response.json()
        for comment in data["data"]["data"]:
            text = comment["text"]
            print(f"评论:{text[:30]}...")
        # 获取下一页max_id
        if "max_id" in data["data"]:
            max_id = data["data"]["max_id"]
            time.sleep(1.5)
        else:
            break
# 示例调用
crawl_weibo_comments("4891234567890123")

图片批量下载

核心逻辑:

  1. 提取图片URL
  2. 创建文件夹
  3. 下载并保存
  4. 重命名避免冲突
import requests
import os
import time
from urllib.parse import urljoin
def download_images(url, folder="images"):
    """从页面下载所有图片"""
    # 创建文件夹
    os.makedirs(folder, exist_ok=True)
    # 获取页面
    response = requests.get(url)
    soup = BeautifulSoup(response.content, "html.parser")
    # 提取图片
    images = soup.find_all("img")
    for i, img in enumerate(images):
        src = img.get("src")
        if not src:
            continue
        # 处理相对路径
        full_url = urljoin(url, src)
        # 下载图片
        try:
            img_response = requests.get(full_url, timeout=10)
            ext = os.path.splitext(full_url)[1] or ".jpg"
            filename = f"{folder}/img_{i:03d}{ext}"
            with open(filename, "wb") as f:
                f.write(img_response.content)
            print(f"已下载:{filename}")
        except:
            print(f"下载失败:{full_url}")
        time.sleep(0.5)
# 示例
download_images("https://example.com/gallery")

视频解析方案

视频采集主要处理:

  • 直链提取(m3u8/flv/mp4)
  • 防盗链处理
  • 分段下载

示例:提取m3u8地址

import requests
import re
def get_m3u8_url(video_page_url):
    """从视频页面提取m3u8地址"""
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
        "Referer": video_page_url
    }
    # 获取页面
    response = requests.get(video_page_url, headers=headers)
    # 提取m3u8链接
    m3u8_pattern = r"(https?://.*?\.m3u8)"
    match = re.search(m3u8_pattern, response.text)
    if match:
        return match.group(1)
    return None
# 使用
m3u8 = get_m3u8_url("https://example.com/video")
print(f"m3u8地址:{m3u8}")

六、高频问题解答

新手常见问题TOP10

  1. 为什么爬虫返回空内容?
    → 检查响应状态码、编码设置、JS动态加载
  2. 如何处理403错误?
    → 添加完整请求头、模拟浏览器、检查Referer
  3. 爬虫被封怎么办?
    → 降低频率、使用代理、模拟人类行为
  4. 中文乱码怎么解决?
    → 设置response.encoding = response.apparent_encoding
  5. 如何提取嵌套数据?
    → 使用XPath或BeautifulSoup的递归查找
  6. 动态页面怎么处理?
    → Selenium、Pyppeteer或直接抓包API
  7. 如何保存为Excel?
    → 使用pandas.DataFrame.to_excel()
  8. 爬虫速度慢怎么办?
    → 多线程、异步、减少不必要的请求
  9. 如何处理登录态?
    → 使用Session保持Cookie,或自动化登录
  10. 法律风险怎么规避?
    → 遵守robots.txt、不采集敏感数据、控制频率

编码问题终极解决方案

处理编码问题的通用流程:

  1. 检查响应头:response.headers.get("content-type")
  2. 检测编码:response.apparent_encoding
  3. 强制设置:response.encoding = "utf-8"(或检测值)
  4. 验证:print(response.text[:100])

特殊编码处理:

# GBK页面
response.encoding = "gbk"
# 自动检测
import chardet
detected = chardet.detect(response.content)
response.encoding = detected["encoding"]

robots.txt检查工具

采集前务必检查目标网站的robots.txt:

import requests
def check_robots_txt(domain):
    """检查网站robots.txt"""
    url = f"{domain}/robots.txt"
    response = requests.get(url)
    if response.status_code == 200:
        print("robots.txt内容:")
        print(response.text)
    else:
        print("未找到robots.txt,可采集")
# 使用
check_robots_txt("https://example.com")

七、学习路径图

从入门到精通的5个阶段

  1. 基础阶段(1-2周)
    • Python语法基础
    • HTTP协议入门
    • requests/BeautifulSoup基础
    • 小型静态页面采集
  2. 进阶阶段(2-3周)
    • lxml/XPath深入
    • 正则表达式应用
    • 动态页面处理(Selenium)
    • 数据存储(CSV/JSON/MySQL)
  3. 实战阶段(3-4周)
    • 项目实战(电商/招聘/社交)
    • 反爬策略应对
    • 代理池构建
    • 自动化部署
  4. 优化阶段(1-2周)
    • 性能优化(多线程/异步)
    • 数据清洗与处理
    • 爬虫架构设计
    • 监控与日志
  5. 专家阶段(持续)
    • 分布式爬虫(Scrapy+Redis)
    • 深度学习辅助识别
    • 爬虫安全防护
    • 合规与法律知识

推荐学习资源

避坑指南

  • 不要在循环中创建Session(应复用)
  • 始终设置超时参数(防止无限等待)
  • 使用try-except处理网络异常
  • 定期检查响应状态码
  • 避免采集敏感数据(个人隐私/商业机密)
  • 遵守目标网站robots.txt
  • 控制请求频率(每秒≤1次)
  • 使用真实浏览器指纹头
  • 处理重定向时注意Cookie丢失
  • 定期更新代理IP池

八、开发工具推荐

必备工具清单

类型推荐工具用途
编辑器VS Code + Python插件代码编写与调试
调试工具PostmanAPI请求测试
浏览器插件XPath Helper、JSON Formatter快速验证选择器
数据处理Pandas数据清洗与分析
可视化Matplotlib/Seaborn数据可视化
部署工具Docker + crontab自动化部署

VS Code配置建议

提升爬虫开发效率的配置:

  1. 安装插件:Python、Pylance、ESLint
  2. 设置默认格式化工具:black
  3. 配置调试:添加launch.json
  4. 启用类型检查:python.typeCheckingMode = "basic"

launch.json示例:

{
    "version": "0.2.0",
    "configurations": [
        {
            "name": "Python: Current File",
            "type": "python",
            "request": "launch",
            "program": "${file}",
            "console": "integratedTerminal"
        }
    ]
}

开发规范 checklist

  • 所有请求设置超时参数
  • 异常处理覆盖所有网络操作
  • 使用Session复用连接
  • 请求头包含完整浏览器指纹
  • 数据存储前做编码转换
  • 定期清理临时文件
  • 添加日志记录关键步骤
  • 代码模块化(函数/类)
  • 添加robots.txt检查
  • 部署前进行压力测试