爬虫Python代码 - Python网络爬虫实战教程与深度解析

在数据驱动决策的时代,自动化信息采集已成为互联网从业者、数据分析师、SEO优化师乃至普通网民的必备技能。而爬虫Python代码正是实现这一目标的核心技术路径。本页面系统整合爬虫Python代码爬虫Python代码爬虫Python代码

与传统碎片化教程不同,本页面采用“技术原理+实战代码+场景适配+风险预警”四维一体结构,确保知识闭环。例如,在讲解爬虫Python代码

为什么选择Python构建爬虫Python代码

Python凭借其简洁的语法结构与强大的第三方库生态,成为爬虫Python代码

  1. 库生态丰富:requests(HTTP请求)、BeautifulSoup4(HTML解析)、lxml(高性能解析)、scrapy(全栈框架)、selenium(浏览器自动化)、playwright(现代自动化)、aiohttp(异步IO)等库覆盖全采集场景
  2. 开发效率高:对比Java/C++,爬虫Python代码
  3. 调试友好性:交互式REPL环境支持逐行执行,配合jupyter notebook可实时查看中间结果
  4. 异步支持成熟:asyncio与aiohttp组合实现万级并发采集,单机QPS可达500+
  5. 跨平台兼容:Windows/macOS/Linux环境部署一致性高,Docker容器化方案成熟

典型爬虫Python代码

「真实项目数据」:2023年某电商数据服务商采用爬虫Python代码

  • SEO优化:采集百度/360搜索结果页,分析关键词排名变化趋势
  • 舆情监控:抓取微博/知乎/小红书热点内容,构建负面信息预警机制
  • 学术研究:采集PubMed文献数据,构建学术影响力评估模型
  • 电商比价:多平台商品价格实时追踪,构建动态定价系统
  • 自动化测试:模拟用户行为验证网站功能健壮性

一、爬虫Python代码

任何爬虫Python代码

1.1 HTTP协议层核心要素

HTTP请求由请求行、请求头、请求体三部分构成。在爬虫Python代码

«请求行»:方法(GET/POST/PUT/DELETE) + 资源路径(/path/to/resource) + 协议版本(HTTP/1.1)
«请求头»:Host、User-Agent、Accept、Accept-Language、Cookie等30+字段
«请求体»:POST请求的JSON/FormData数据(GET请求无请求体)

requests.get("https://www.example.com", headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8", "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8", "Accept-Encoding": "gzip, deflate, br", "Connection": "keep-alive", "Referer": "https://www.google.com/", "Cookie": "sessionid=xxx; _ga=GA1.2.1234567890.1234567890" }, params={"page": 1, "size": 20}, timeout=10)

特别说明:Referer字段常被用于防盗链验证,需设置为合法来源页面;Cookie字段需动态维护,建议使用Session对象自动管理会话状态。

1.2 响应状态码深度解读

爬虫Python代码

  • 2xx成功系列:200(正常响应)、201(资源创建)、204(无内容返回,常见于POST请求)
  • 3xx重定向系列:301(永久重定向)、302(临时重定向)、304(未修改,触发缓存)
  • 4xx客户端错误:400(请求格式错误)、401(未授权)、403(禁止访问)、404(资源不存在)
  • 5xx服务器错误:500(服务器内部错误)、502(网关错误)、503(服务不可用)

⚠️ 实战提示:当爬虫Python代码

1.3 HTML解析技术对比

响应内容解析是爬虫Python代码

解析库性能容错性适用场景
re(正则表达式)极高低结构化数据(如JSON片段)
BeautifulSoup4中高小型项目、教学演示
lxml(XPath)高中中大型项目、性能敏感场景
Selenium + DOM低高动态渲染页面、复杂交互
from bs4 import BeautifulSoup import re from lxml import etree # BeautifulSoup示例:提取所有文章标题 soup = BeautifulSoup(html, "html.parser") titles = [tag.get_text(strip=True) for tag in soup.select("h2.article-title")] # 正则表达式示例:提取JSON数据 json_data = re.search(r'window\.__INITIAL_STATE__ = (.*?);', html).group(1) # lxml示例:XPath精准定位 tree = etree.HTML(html) titles = tree.xpath('//h2[contains(@class,"article-title")]/text()')

二、主流爬虫Python代码

2.1 requests库:HTTP请求核心引擎

requests是Python最流行的HTTP客户端库,其核心优势在于简洁API与完善异常处理机制。在爬虫Python代码

会话保持与Cookie管理

import requests session = requests.Session() session.headers.update({ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" }) # 首次请求获取Cookie login_response = session.post("https://example.com/login", data={"user": "test", "pass": "123456"}) # 后续请求自动携带Cookie profile = session.get("https://example.com/profile")

代理IP池动态切换

proxies = { "http": "http://proxy1.example.com:8080", "https": "http://proxy2.example.com:8080" } try: response = requests.get("https://example.com", proxies=proxies, timeout=10) except requests.exceptions.ProxyError: # 自动切换备用代理 proxies = {"http": "http://proxy3.example.com:8080"} response = requests.get("https://example.com", proxies=proxies)

超时与重试机制

from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry session = requests.Session() retries = Retry(total=3, backoff_factor=0.5, status_forcelist=[500, 502, 503]) session.mount("http://", HTTPAdapter(max_retries=retries)) session.mount("https://", HTTPAdapter(max_retries=retries))

2.2 Selenium:浏览器自动化利器

Selenium通过驱动真实浏览器执行JavaScript,完美解决SPA(单页应用)数据加载问题。在爬虫Python代码

基础配置
反自动化检测
性能优化
from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument("--headless") # 无头模式 chrome_options.add_argument("--no-sandbox") chrome_options.add_argument("--disable-dev-shm-usage") driver = webdriver.Chrome(options=chrome_options) driver.get("https://example.com") html = driver.page_source driver.quit()

⚡ 关键技术:注入Stealth.js绕过navigator.webdriver检测

from selenium.webdriver import ChromeOptions options = ChromeOptions() options.add_experimental_option("excludeSwitches", ["enable-automation"]) options.add_experimental_option("useAutomationExtension", False) driver = webdriver.Chrome(options=options) # 执行Stealth.js脚本 driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }) """ })

⚠️ 警告:Selenium性能低于requests,建议仅在必要时使用。优化方案包括:

  • 使用CDP协议替代DOM操作(速度提升5倍)
  • 设置浏览器缓存策略(disable-image-loading)
  • 采用显式等待替代time.sleep

2.3 Scrapy框架:企业级爬虫解决方案

Scrapy是Python最成熟的爬虫框架,提供异步IO、自动重试、数据管道等企业级特性。其核心组件包括:

  • Spider:定义爬取逻辑与解析规则
  • Engine:控制数据流与事件触发
  • Downloader:处理HTTP请求
  • Scheduler:管理请求队列
  • Item Pipeline:数据清洗与存储
import scrapy class ArticleSpider(scrapy.Spider): name = "articles" start_urls = ["https://example.com/articles"] def parse(self, response): for article in response.css("div.article"): yield { "title": article.css("h2::text").get(), "author": article.css(".author::text").get(), "content": article.css(".content::text").getall() } # 翻页逻辑 next_page = response.css("a.next::attr(href)").get() if next_page: yield response.follow(next_page, callback=self.parse)

三、爬虫Python代码

3.1 淘宝商品数据采集(完整可运行)

本案例展示如何绕过淘宝反爬策略采集商品信息,核心策略包括:动态headers生成、Cookie池管理、请求间隔随机化。

关键代码实现

import requests import time import random from urllib.parse import urlencode class TaobaoCrawler: def __init__(self): self.session = requests.Session() self.session.headers.update({ "User-Agent": self._generate_ua(), "Accept": "application/json", "Accept-Language": "zh-CN,zh;q=0.9", "Accept-Encoding": "gzip, deflate, br", "Connection": "keep-alive" }) def _generate_ua(self): """动态生成User-Agent""" versions = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15" ] browsers = [ "Chrome/120.0.0.0 Safari/537.36", "Firefox/121.0" ] return f"{random.choice(versions)} {random.choice(browsers)}" def search_products(self, keyword, page=1): """搜索商品""" params = { "q": keyword, "s": (page-1)*44, "data-key": "s", "data-value": (page-1)*44, "_ksTS": f"{int(time.time()*1000)}_{random.randint(100,999)}", "callback": f"jsonp{random.randint(1000,9999)}" } url = "https://s.taobao.com/api/search?" + urlencode(params) response = self.session.get(url, timeout=10) # 处理JSONP响应 json_str = response.text.split("(",1)[1].rstrip(")") data = __import__("json").loads(json_str) return data["list"]

采集结果示例

[ { "title": "【官方旗舰店】iPhone 15 Pro Max 256GB", "price": "9999.00", "sales": "1200+", "shop": "苹果官方旗舰店", "location": "广东 深圳" }, { "title": "iPhone 15 128GB 全新国行正品", "price": "5999.00", "sales": "3500+", "shop": "苹果授权经销商", "location": "北京" } ]

3.2 知乎热榜数据实时监控

针对知乎动态加载特性,采用Selenium+CDP协议实现高效采集,关键点在于模拟真实用户滚动行为触发内容加载。

采集流程
数据处理
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC class ZhihuHotCrawler: def __init__(self): self.driver = webdriver.Chrome() self.driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})" }) def crawl_hotlist(self): """采集知乎热榜""" self.driver.get("https://www.zhihu.com/hot") # 模拟滚动加载 for _ in range(3): self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight)") time.sleep(random.uniform(1.5, 2.5)) # 等待内容加载完成 WebDriverWait(self.driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, ".HotItem")) ) # 提取数据 items = self.driver.find_elements(By.CSS_SELECTOR, ".HotItem") return [{ "rank": i+1, "title": item.find_element(By.CSS_SELECTOR, ".HotTitle").text, "hot_value": item.find_element(By.CSS_SELECTOR, ".HotScore").text, "author": item.find_element(By.CSS_SELECTOR, ".Author").text } for i, item in enumerate(items)]
[ { "rank": 1, "title": "如何看待华为Mate 70系列发布?", "hot_value": "125.6万", "author": "科技观察者" }, { "rank": 2, "title": "2024年最值得入手的旗舰手机推荐", "hot_value": "98.3万", "author": "数码评测君" } ]

四、反爬策略应对方案库

4.1 常见反爬技术原理

① 请求头校验

服务器验证User-Agent、Referer、Cookie等字段,伪造失败则返回403。应对方案:使用浏览器真实请求头组合,配合Session自动管理Cookie

② 请求频率限制

通过IP+User-Agent双重限制访问频率。应对方案:
• 请求间隔随机化(1-3秒)
• 动态IP池(使用代理IP服务)
• 请求指纹混淆(TLS指纹、Canvas指纹)

③ 动态加载

关键数据通过AJAX或WebSocket实时加载。应对方案:
• 分析Network面板获取真实API
• 使用Selenium驱动浏览器
• 逆向JavaScript加密逻辑

④ 滑块验证

通过分析轨迹特征识别自动化行为。应对方案:
• 使用Playwright的stealth模式
• 模拟人类滑动轨迹(贝塞尔曲线)
• 人工打码平台接入

4.2 滑块验证绕过实战

以某网站滑块验证为例,关键突破点在于轨迹生成算法。标准人类滑动轨迹应包含:
• 初始加速阶段(0.5秒内)
• 中间匀速阶段
• 结束减速阶段(0.3秒内)
• 微小抖动(模拟手指不稳)

def generate_drag_path(): """生成人类滑动轨迹""" path = [] x = 0 y = 0 for i in range(50): # 初始加速 if i < 15: x += random.uniform(8, 12) y = random.uniform(-0.5, 0.5) # 匀速阶段 elif i < 35: x += random.uniform(6, 9) y = random.uniform(-0.2, 0.2) # 减速阶段 else: x += random.uniform(2, 5) y = random.uniform(-0.3, 0.3) path.append((int(x), int(y))) # 添加结束抖动 for _ in range(3): path.append((path[-1][0]+random.randint(-2,2), path[-1][1]+random.randint(-1,1))) return path

六、自动化部署方案

6.1 本地定时任务

使用apscheduler实现本地定时采集,适合个人项目:

from apscheduler.schedulers.blocking import BlockingScheduler from datetime import datetime def crawl_task(): print(f"[{datetime.now()}] 开始采集任务...") # 执行采集逻辑 scheduler = BlockingScheduler() scheduler.add_job(crawl_task, 'interval', minutes=5) scheduler.start()

6.2 Docker容器化部署

构建可移植的爬虫容器,确保环境一致性:

FROM python:3.9-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . CMD ["python", "crawler.py"]

6.3 云函数部署方案

使用Serverless架构降低运维成本,推荐方案:
• 腾讯云SCF(免费额度100万次/月)
• 阿里云FC(按量付费)
• AWS Lambda(免费 tier 100万次/月)

⚡ 成本对比:本地服务器年成本约5000元,云函数年成本约800元(日均1万次请求)

七、常见问题深度解答

Q1:为什么requests采集时返回空内容?

A:可能原因包括:
① 请求被重定向至登录页(检查状态码是否为302)
② 数据通过JavaScript动态加载(需使用Selenium)
③ 参数被加密(需逆向JS获取加密逻辑)
④ 请求头缺失必要字段(如X-Requested-With)
建议使用浏览器开发者工具对比真实请求参数。

Q2:如何处理JavaScript加密参数?

A:标准解决方案:
① 使用Chrome DevTools Protocol监听网络请求
② 在JS执行前设置断点获取明文参数
③ 使用PyExecJS调用浏览器JS引擎执行加密逻辑
④ 逆向分析加密算法(需JS基础)

import execjs # 从网站提取加密JS代码 with open("encrypt.js", "r", encoding="utf-8") as f: js_code = f.read() ctx = execjs.compile(js_code) encrypted = ctx.call("encrypt", "test_data")

Q3:爬虫被封IP怎么办?

A:分级应对策略:
• 轻度封禁:增加请求间隔(3-5秒)、添加随机User-Agent
• 中度封禁:使用代理IP池(建议≥100个IP轮换)
• 重度封禁:引入行为模拟(模拟鼠标移动、页面停留)
• 永久封禁:更换采集目标或采用合作数据源

Q4:如何验证采集数据的准确性?

A:三重校验机制:
① 数据源交叉验证(对比多个网站同一数据)
② 人工抽样检查(每日随机抽查1%数据)
③ 异常值过滤(使用IQR方法识别离群点)

Q5:Scrapy和Selenium如何组合使用?

A:最佳实践方案:
• 基础页面:Scrapy处理(高并发)
• 动态内容:Selenium处理(精准渲染)
• 数据流转:通过Scrapy的Item Pipeline传递Selenium采集数据

网友还关心

① 如何选择合适的爬虫框架?

• 学习阶段:requests + BeautifulSoup
• 中型项目:Scrapy
• 大型项目:Scrapy + Selenium + Redis队列
• 特殊场景:Playwright(现代浏览器支持)

② 爬虫数据用于AI训练是否合法?

根据《著作权法》第二十四条,为实施义务教育和国家教育规划而编写出版教科书,可不经著作权人许可使用作品,但应支付报酬。AI训练数据采集需满足:
• 数据公开可获取
• 非商业用途
• 标注数据来源
• 支付合理报酬

③ 如何构建个人爬虫知识体系?

推荐学习路径:
① 基础:Python语法 + HTTP协议
② 进阶:requests/Selenium实战
③ 高级:Scrapy源码 + 反爬攻防
④ 专家:分布式架构 + 法律合规