Python爬虫入门百度网盘|零基础入门到实战

① Python爬虫基础核心知识体系

在进入具体技术栈前,需构建完整的知识框架。网络爬虫是模拟浏览器行为自动抓取网页信息的技术,其本质是HTTP请求→响应解析→数据提取→结构化存储的闭环流程。Python凭借简洁语法与强大生态成为首选语言。

⑴ 爬虫技术栈全景图

  • 基础语法:变量/条件/循环/函数/模块
  • 网络请求:requests库(GET/POST/Session)
  • HTML解析:BeautifulSoup/lxml(XPath)
  • 动态渲染:Selenium/Playwright
  • 反爬应对:Headers/代理/IP池/加密参数逆向
  • 数据存储:CSV/JSON/MySQL/MongoDB/Elasticsearch
  • 任务调度:APScheduler/crontab

⑵ HTTP协议核心要点

理解HTTP是爬虫开发的基石。常见状态码需牢记:

状态码含义应对策略
200请求成功正常解析
301/302重定向自动跟随Location头
403禁止访问检查User-Agent/Referer/Cookie
404资源不存在URL拼接逻辑修正
503服务不可用延迟重试/降级处理

请求头关键字段:User-Agent(模拟浏览器)、Referer(防盗链)、Cookie(会话维持)、Accept-Encoding(压缩支持)。响应体中Content-Type决定编码方式(常见为utf-8或gbk)。

⑶ HTML结构解析要点

网页本质是DOM树结构。常用选择器规则:

  • 标签选择器:<div> → div
  • ID选择器:<div id="content"> → #content
  • 类选择器:<div class="article"> → .article
  • 属性选择器:<img src="xxx"> → img[src]
  • 层级关系:div > p(直接子元素)、div p(任意后代)

示例代码:提取《Python爬虫入门百度网盘》专题页面标题与链接:

from bs4 import BeautifulSoup
html = """

Python爬虫入门百度网盘

零基础掌握网络爬虫开发

""" soup = BeautifulSoup(html, "html.parser") title = soup.select_one("h2 a").text link = soup.select_one("h2 a")["href"] print(f"标题:{title} | 链接:{link}") # 输出:标题:Python爬虫入门百度网盘 | 链接:/course/123

② 核心工具链深度实战

requests库实战技巧

处理复杂请求场景需掌握以下核心参数:

  • params:GET参数字典(自动URL编码)
  • data/json:POST请求体(表单/JSON)
  • headers:自定义请求头(必设User-Agent)
  • cookies:会话维持(字典或RequestsCookieJar)
  • timeout:超时控制(防无限等待)
  • proxies:代理设置(应对IP封禁)

反爬绕过实例:模拟浏览器访问百度搜索结果:

import requests
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Referer": "https://www.baidu.com",
    "Accept-Language": "zh-CN,zh;q=0.9"
}
params = {"wd": "Python爬虫入门百度网盘", "rn": 50}
url = "https://www.baidu.com/s"
resp = requests.get(url, headers=headers, params=params, timeout=10)
print(resp.status_code)  # 200表示成功
print(resp.request.url)  # 实际请求URL

注意:百度搜索结果页为动态加载,需结合Selenium或分析XHR请求。此处仅作基础演示。

BeautifulSoup深度解析

支持四种解析器,推荐使用lxml(速度快):

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "lxml")

常用方法对比:

方法返回类型适用场景
find()单个Tag精确匹配单个元素
find_all()Tag列表批量提取同类型节点
select()Tag列表CSS选择器灵活定位
get_text()字符串提取纯文本内容

实战案例:提取豆瓣电影Top250标题与评分:

import requests
from bs4 import BeautifulSoup
url = "https://movie.douban.com/top250"
headers = {"User-Agent": "Mozilla/5.0 ..."}
resp = requests.get(url, headers=headers)
soup = BeautifulSoup(resp.text, "lxml")
for item in soup.select("div.item"):
    title = item.select_one("span.title").text
    rating = item.select_one("span.rating_num").text
    print(f"{title} - 评分:{rating}")

高级技巧:处理嵌套节点时,可组合使用.parent/.next_sibling等属性精确定位。

Selenium动态页面抓取

当页面内容由JavaScript动态生成时,需使用Selenium模拟真实浏览器操作:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 启动无头浏览器(生产环境推荐)
options = webdriver.ChromeOptions()
options.add_argument("--headless")
options.add_argument("--disable-gpu")
driver = webdriver.Chrome(options=options)
try:
    driver.get("https://example.com")
    # 等待元素加载完成
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, ".content"))
    )
    # 获取页面源码
    html = driver.page_source
    # 提取数据
    titles = driver.find_elements(By.CSS_SELECTOR, "h2.title")
    for t in titles:
        print(t.text)
finally:
    driver.quit()

关键技巧:

  • 显式等待(WebDriverWait)替代time.sleep,提升稳定性
  • 处理iframe需先.switch_to.frame()
  • 执行JS代码:driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")

请求异常处理策略

网络请求需完善异常处理,避免程序崩溃:

import requests
from requests.exceptions import RequestException, Timeout, ConnectionError
def safe_request(url, **kwargs):
    try:
        resp = requests.get(url, timeout=5, **kwargs)
        resp.raise_for_status()  # 检查HTTP错误
        return resp
    except Timeout:
        print(f"请求超时:{url}")
    except ConnectionError:
        print(f"连接失败:{url}")
    except RequestException as e:
        print(f"请求异常:{e}")
    return None
# 使用示例
resp = safe_request("https://httpbin.org/delay/3", headers={"User-Agent": "Mozilla/5.0"})
if resp:
    print(resp.json())

③ 反爬机制应对策略

常见反爬手段与解决方案

反爬类型表现形式解决方案
Headers校验缺少User-Agent/Referer构造完整请求头
IP封禁频繁请求返回403代理IP池+请求频率控制
Cookie验证需登录态访问Session维持/模拟登录
动态加载内容由JS生成Selenium/逆向分析XHR
加密参数sign/nonce动态生成JS逆向/本地执行
滑块验证图形验证码/点选验证第三方打码平台/OCR识别

代理IP池构建方案

使用Redis存储代理IP,实现自动失效检测与轮换:

import redis
import requests
import random
class IPPool:
    def __init__(self):
        self.r = redis.Redis(host='localhost', port=6379, db=0)
    def add_proxy(self, ip, port):
        proxy = f"http://{ip}:{port}"
        self.r.sadd("proxies", proxy)
    def get_proxy(self):
        proxies = self.r.smembers("proxies")
        return random.choice(list(proxies)) if proxies else None
    def remove_proxy(self, proxy):
        self.r.srem("proxies", proxy)
# 使用示例
pool = IPPool()
proxy = pool.get_proxy()
resp = requests.get("https://httpbin.org/ip", proxies={"http": proxy})
print(resp.json())

注意事项:

  • 优先使用国内高匿代理(如阿里云、腾讯云IP段)
  • 设置代理失败时自动降级为直连
  • 单IP请求间隔≥3秒,防止触发限流

模拟登录实战(以知乎为例)

通过Session保存Cookie,实现持续登录状态:

import requests
from bs4 import BeautifulSoup
session = requests.Session()
headers = {
    "User-Agent": "Mozilla/5.0 ...",
    "Referer": "https://www.zhihu.com/"
}
# 获取登录页Token
login_page = session.get("https://www.zhihu.com/login", headers=headers)
soup = BeautifulSoup(login_page.text, "lxml")
xsrf = soup.find("input", {"name": "_xsrf"})["value"]
# 提交登录表单
login_data = {
    "_xsrf": xsrf,
    "username": "your_email",
    "password": "your_password",
    "captcha_type": "cn"
}
session.post("https://www.zhihu.com/login", data=login_data, headers=headers)
# 登录后访问
resp = session.get("https://www.zhihu.com/api/v4/members/xxx/followers", headers=headers)
print(resp.json())

注意:知乎已升级为动态加密参数,实际需分析_login endpoint的请求参数生成逻辑。

加密参数逆向分析流程

以某网站sign参数为例,逆向分析步骤:

  1. 抓包分析请求参数,定位sign生成位置
  2. 使用浏览器开发者工具设置断点(F12 → Sources → XHR)
  3. 在JS中搜索sign相关代码,定位加密函数
  4. 提取加密逻辑,用Python重写或调用V8引擎

典型加密算法:

  • MD5/SHA1:哈希计算(hashlib库)
  • AES/RSA:对称/非对称加密(pycryptodome库)
  • 自定义算法:分析混淆JS代码还原逻辑

④ 数据存储与管理方案

结构化数据存储对比

格式适用场景Python操作库
CSV小规模表格数据csv模块
JSONAPI数据/配置文件json模块
MySQL关系型数据/高并发pymysql/sqlalchemy
MongoDB非结构化文档pymongo
Elasticsearch全文检索/大数据elasticsearch-py

CSV与JSON存储示例

import csv
import json
# 写入CSV
data = [
    {"title": "Python爬虫入门百度网盘", "url": "/course/123", "rating": 9.8},
    {"title": "Selenium自动化实战", "url": "/course/456", "rating": 9.5}
]
with open("courses.csv", "w", newline="", encoding="utf-8") as f:
    writer = csv.DictWriter(f, fieldnames=["title", "url", "rating"])
    writer.writeheader()
    writer.writerows(data)
# 写入JSON
with open("courses.json", "w", encoding="utf-8") as f:
    json.dump(data, f, ensure_ascii=False, indent=2)

MySQL数据库建表与操作

创建表结构( courses表):

CREATE TABLE courses (
    id INT AUTO_INCREMENT PRIMARY KEY,
    title VARCHAR(255) NOT NULL,
    url VARCHAR(255) UNIQUE,
    rating DECIMAL(3,1),
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

Python插入数据:

import pymysql
conn = pymysql.connect(
    host="localhost",
    user="root",
    password="password",
    database="spider_db"
)
cursor = conn.cursor()
sql = "INSERT INTO courses (title, url, rating) VALUES (%s, %s, %s)"
cursor.executemany(sql, [
    ("Python爬虫入门百度网盘", "/course/123", 9.8),
    ("Selenium自动化实战", "/course/456", 9.5)
])
conn.commit()
print(f"插入 {cursor.rowcount} 条记录")

数据去重与增量更新策略

  • 唯一索引:在数据库字段添加UNIQUE约束
  • 哈希指纹:对内容生成MD5校验值
  • 时间戳对比:记录最后更新时间,仅抓取新数据
  • 布隆过滤器:内存级快速去重(redis-py + BloomFilter)

示例:使用Redis实现URL去重:

import redis
import hashlib
r = redis.Redis()
def is_duplicate(url):
    key = "url:" + hashlib.md5(url.encode()).hexdigest()
    return r.sadd(key, 1) == 0  # 已存在返回True
# 使用
if not is_duplicate("https://example.com"):
    print("新URL,开始抓取")
else:
    print("重复URL,跳过")

⑤ 典型项目实战全流程

项目:百度文库资源抓取系统

目标:抓取关键词为“Python爬虫入门百度网盘”的文库文档标题、链接、预览页数、下载量

实现步骤:

  1. 分析百度文库搜索接口:https://wenku.baidu.com/search?query=Python爬虫入门百度网盘
  2. 识别动态加载:通过XHR请求获取JSON数据(需登录态)
  3. 提取关键字段:title、docId、viewCount
  4. 存储至MySQL并生成下载链接

核心代码框架:

import requests
import json
import time
class WenkuSpider:
    def __init__(self):
        self.session = requests.Session()
        self.session.headers.update({
            "User-Agent": "Mozilla/5.0 ...",
            "Referer": "https://wenku.baidu.com/"
        })
    def search(self, keyword, page=1):
        url = "https://wenku.baidu.com/search"
        params = {
            "query": keyword,
            "pn": (page-1)*10,
            "rn": 10
        }
        resp = self.session.get(url, params=params)
        # 解析响应(实际需处理加密参数)
        data = json.loads(resp.text.replace("searchCallback(", "").rstrip(")"))
        for doc in data["data"]["result"]:
            print(f"{doc['title']} - 预览页数:{doc['pageCount']} - 下载量:{doc['viewCount']}")
    def run(self):
        for i in range(1, 4):
            self.search("Python爬虫入门百度网盘", i)
            time.sleep(2)  # 防止触发限流
if __name__ == "__main__":
    spider = WenkuSpider()
    spider.run()

实际应用中需结合Selenium模拟登录并分析加密参数,此处为简化演示。

项目:知乎用户关系网络构建

目标:以“Python爬虫入门百度网盘”话题为起点,抓取相关回答作者的粉丝列表,构建社交图谱

实现流程:

  1. 搜索话题:https://www.zhihu.com/topic/19552832/hot
  2. 提取热门回答作者ID
  3. 调用API获取粉丝列表:/api/v4/members/{user_slug}/followers
  4. 存储为JSON图数据(nodes/edges)

输出格式示例:

{
  "nodes": [
    {"id": "user_a", "name": "知乎用户A", "type": "author"},
    {"id": "user_b", "name": "知乎用户B", "type": "follower"}
  ],
  "edges": [
    {"from": "user_a", "to": "user_b", "relation": "follows"}
  ]
}

项目:百度网盘资源聚合平台

目标:聚合主流技术博客中的百度网盘分享链接,按主题分类存储

数据来源:

  • CSDN博客评论区
  • GitHub Issue中的资源分享
  • 技术论坛(如V2EX、掘金)

数据清洗要点:

  1. 正则匹配网盘链接:https://pan\.baidu\.com/s/[\w\-]+
  2. 提取提取码:提取码[::]?\s*([a-zA-Z0-9]{4})
  3. 去重与校验(检查链接有效性)

最终输出为可搜索的HTML静态页(适合静态托管)。

⑥ 网友们还关心的问题

⑴ 爬虫是否违法?

根据《网络安全法》第27条,任何个人不得从事危害网络安全的活动。合法爬虫需遵循:

  • robots.txt规则:检查目标网站的爬虫协议
  • 请求频率控制:避免对服务器造成压力
  • 禁止绕过技术措施:如破解登录验证
  • 数据使用合规:禁止用于商业侵权

典型案例:2022年某公司因大量抓取大众点评数据被判赔偿30万元。

⑵ 如何快速入门?

推荐学习路径:

  1. 掌握Python基础语法(变量/循环/函数)
  2. 学习HTTP协议基础(请求/响应/状态码)
  3. 动手实现3个小型爬虫项目
  4. 深入学习Selenium与反爬技术
  5. 参与开源项目(GitHub搜索spider)

百度网盘资源推荐:搜索关键词“Python爬虫入门百度网盘”,筛选高赞资源,注意验证链接有效期。

⑶ 如何处理验证码?

主流解决方案:

  • 滑块验证码:使用OpenCV识别缺口位置,模拟鼠标路径
  • 点选验证码:调用打码平台API(如极验、阿里云)
  • 语音验证码:使用TTS合成音频,调用ASR识别

示例代码(滑块缺口识别):

import cv2
import numpy as np
def find_gap(bg_path, slide_path):
    bg = cv2.imread(bg_path, 0)
    slide = cv2.imread(slide_path, 0)
    res = cv2.matchTemplate(bg, slide, cv2.TM_CCOEFF_NORMED)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
    return max_loc[0]  # 返回缺口X坐标

⑷ 如何提高爬取效率?

多线程/异步方案对比:

方案适用场景性能复杂度
多线程IO密集型(网络请求)中等低
asyncio高并发网络请求高高
Scrapy大型爬虫项目极高高

推荐:中小型项目用多线程(threading),大型项目用Scrapy框架。