python爬虫自学网站

本python爬虫自学网站致力于打造一套系统、实用、可落地的Python网络爬虫学习路径,从零基础入门到高阶实战,覆盖网页结构解析、请求模拟、反反爬对抗、分布式抓取、数据清洗与存储等全流程技术栈。无论您是编程初学者,还是已有Python基础的开发者,均可在此获得清晰、完整、可实践的技术提升路径。

网站内容基于真实项目经验整理,结合近年主流网站结构变化与反爬机制演进,强调动手能力与工程思维。所有案例均经过实际部署验证,拒绝“纸上谈兵”式教学。我们坚信:真正的爬虫技术,必须经得起生产环境的考验。

当前python爬虫自学网站已形成五大核心模块:基础语法速成 → 核心库深度解析 → 反爬策略实战 → 大规模采集架构 → 数据处理与可视化。每个模块均配备配套练习题、调试技巧、避坑指南与性能优化建议,帮助学习者建立完整知识体系。

一、爬虫基础:从零构建第一台“数据采集器”

在开始编写任何Python网络爬虫前,必须明确三个核心问题:目标网页如何被浏览器加载?数据藏在HTML源码还是JS动态渲染?请求头与Cookie是否影响返回结果?以下将结合真实案例逐步拆解。

1.1 网页结构基础认知

网页本质是HTML+CSS+JavaScript的组合体,现代网站(如电商、社交、新闻平台)大量采用AJAX异步加载,导致“右键查看源代码”无法看到完整数据。例如某招聘网站的职位列表,初始HTML仅含前3条记录,其余数据通过接口:/api/jobs?city=beijing&page=2动态获取。

📌 提示:用浏览器开发者工具(F12)→ Network → XHR过滤,可快速定位接口请求。注意查看Request Headers中的Cookie、User-Agent、Referer等字段,它们往往是反爬的关键线索。

1.2 requests库基础使用

requests是Python中最流行的HTTP客户端库,其简洁API极大降低了网络请求门槛:

import requests
url = "https://www.example.com/data"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Accept-Encoding": "gzip, deflate, br"
}
response = requests.get(url, headers=headers)
html = response.text

注意:response.text返回的是解码后的字符串,若网站编码非UTF-8(如GB2312),需手动指定:response.encoding = "gbk";而response.content返回原始字节流,适合处理图片、文件下载等场景。

1.3 BeautifulSoup解析实战

BeautifulSoup是Python中最成熟的HTML解析库,支持多种解析器(html.parser、lxml、html5lib)。推荐搭配lxml使用,因其解析速度最快:

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "lxml")
# 提取所有class为job-item的div
jobs = soup.find_all("div", class_="job-item")
for job in jobs:
    title = job.find("h3").get_text(strip=True)
    salary = job.select_one(".salary").get_text()
    print(f"{title} | 薪资:{salary}")

关键技巧:select()支持CSS选择器,可精准定位复杂结构;get_text(strip=True)自动去除首尾空白与换行;find_next_sibling()用于兄弟节点遍历。

1.4 案例:抓取豆瓣图书Top250

豆瓣图书Top250采用分页设计(每页25本),共10页,URL格式:https://book.douban.com/top250?start=0,start参数递增25即可遍历全部数据。

完整代码:

import requests
from bs4 import BeautifulSoup
def crawl_douban_books():
    for start in range(0, 250, 25):
        url = f"https://book.douban.com/top250?start={start}"
        headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0 Safari/537.36"
        }
        res = requests.get(url, headers=headers)
        soup = BeautifulSoup(res.text, "lxml")
        books = soup.select("div.item")
        for book in books:
            title = book.select_one("div.pl2 a")["title"]
            info = book.select_one("p.pl").get_text()
            rating = book.select_one("span.rating_nums").get_text()
            print(f"《{title}》 | 评分:{rating} | {info}")
crawl_douban_books()

执行结果示例:
《活着》 | 评分:9.3 | 余华 / 北京十月文艺出版社 / 2012-8 / 13.00元
《百年孤独》 | 评分:9.3 | 加西亚·马尔克斯 / 南海出版公司 / 2012-5 / 39.50元

二、核心工具链:构建高效稳定的爬虫引擎

仅靠requests+BeautifulSoup难以应对高并发、反爬对抗、数据持久化等工程需求。现代python爬虫自学网站学习者必须掌握三大核心工具:Selenium、Scrapy、Redis。以下逐一分解其定位与组合策略。

2.1 Selenium:浏览器自动化神器

当目标网页依赖JS渲染(如淘宝商品详情页、知乎评论区),需用Selenium模拟真实用户操作。其原理是通过WebDriver控制浏览器,可执行JS、点击按钮、滚动页面等交互行为。

典型场景:抓取需要登录的网站(如微博、知乎),或动态加载内容(如瀑布流图片站)。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get("https://example.com/login")
# 等待用户名输入框出现
wait = WebDriverWait(driver, 10)
username = wait.until(EC.presence_of_element_located((By.ID, "user")))
# 填写表单并提交
username.send_keys("user@example.com")
password = driver.find_element(By.ID, "pass")
password.send_keys("123456")
driver.find_element(By.CSS_SELECTOR, ".btn-login").click()
# 获取渲染后的内容
html = driver.page_source

⚠️ 注意:Selenium性能较低(启动浏览器开销大),应仅在必要时使用。推荐配合无头模式(headless)减少资源消耗:

from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--headless")
driver = webdriver.Chrome(options=options)

2.2 Scrapy:工业级爬虫框架

Scrapy是Python最成熟的爬虫框架,提供异步I/O、自动重试、中间件扩展、数据管道等完整生态。其核心组件包括:

  • Spider:定义爬取逻辑与解析规则
  • Downloader Middleware:处理请求/响应(如添加代理、伪装User-Agent)
  • Item Pipeline:清洗、验证、存储数据

Scrapy项目初始化命令:

scrapy startproject myspider
cd myspider
scrapy genspider douban book.douban.com

以下为spiders/douban.py核心逻辑:

import scrapy
class DoubanSpider(scrapy.Spider):
    name = "douban"
    allowed_domains = ["book.douban.com"]
    start_urls = ["https://book.douban.com/top250"]
    def parse(self, response):
        for book in response.css("div.item"):
            yield {
                "title": book.css("div.pl2 a::attr(title)").get(),
                "rating": book.css("span.rating_nums::text").get(),
                "info": book.css("p.pl::text").get()
            }
        # 翻页逻辑
        next_page = response.css("div.paginator a.next::attr(href)").get()
        if next_page:
            yield response.follow(next_page, callback=self.parse)

运行命令:scrapy crawl douban -o books.json,即可生成JSON格式数据文件。

2.3 Redis:分布式爬虫的协作中枢

当单机爬虫无法满足效率需求时,需构建分布式架构。Redis作为高性能键值数据库,常用于:

  • 存储待爬URL队列(Set去重)
  • 记录已爬URL指纹(防止重复)
  • 协调多台爬虫机的任务分配

典型架构:爬虫A → Redis队列 → 爬虫B/C/D → 数据库

💡 实用技巧:使用scrapy-redis扩展,可将Scrapy与Redis无缝集成,无需修改核心代码即可实现分布式部署。

三、反反爬实战:破解主流反爬机制

当前主流网站反爬手段已从简单UA检测,升级为多维度行为分析(如滑动验证、请求频率、鼠标轨迹、JS指纹)。python爬虫自学网站总结以下高频策略与应对方案:

3.1 请求头伪装与Cookie管理

基础反爬常检查:User-Agent、Referer、Accept-Language等字段。可通过以下方式增强伪装:

  • 使用真实浏览器导出的Cookie(登录后F12复制)
  • 动态生成Referer(从搜索页跳转至目标页)
  • 轮换User-Agent(模拟不同设备与浏览器)

动态UA生成示例:

import random
USER_AGENTS = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0.0.0 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) Safari/605.1.15",
    "Mozilla/5.0 (iPhone; CPU iPhone OS 16_0 like Mac OS X) Mobile/15E148"
]
def get_headers():
    return {
        "User-Agent": random.choice(USER_AGENTS),
        "Referer": "https://www.google.com/",
        "Accept-Language": "zh-CN,zh;q=0.9"
    }

3.2 验证码与滑块识别

验证码类型包括:数字字母型、点选文字型、滑动拼图型。应对策略:

  • 数字字母型:使用Tesseract OCR识别(需安装libtesseract库)
  • 滑动拼图:通过OpenCV模板匹配计算缺口偏移量,再模拟鼠标轨迹移动

滑块缺口定位代码(简化版):

import cv2
import numpy as np
def find_gap_offset(bg_path, slider_path):
    bg = cv2.imread(bg_path, 0)
    slider = cv2.imread(slider_path, 0)
    result = cv2.matchTemplate(bg, slider, cv2.TM_CCOEFF_NORMED)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
    return max_loc[0]  # 返回缺口X坐标偏移量

⚠️ 法律风险:绕过技术措施可能违反《计算机软件保护条例》及《反不正当竞争法》,请严格遵守网站Robots协议,仅用于学习研究。

3.3 动态JS反爬对抗

部分网站(如某点评)将关键数据加密于JS中,通过混淆变量名、动态生成Token等方式防御。应对方法:

  1. 用Chrome DevTools设置断点,追踪加密函数调用栈
  2. 提取加密逻辑,用Python重写(如AES、DES加密)
  3. 逆向JS代码,提取关键参数(如X-Signature)
💡 经验提示:优先寻找明文接口(如XHR请求中的API),避免直接解析JS。多数网站会保留公开API供移动端调用,其参数生成逻辑更简单。

四、实战项目库:从简单到复杂的完整案例

以下精选5个典型项目,覆盖电商、社交、新闻、招聘、学术数据库,每个案例均附核心代码片段与调试技巧。

4.1 京东商品信息抓取(含价格动态刷新)

京东商品价格实时变动,需通过接口:/p.3/price?id=100012345678获取最新价格。接口需携带Cookie中的ipLoc-dpc=12345(地区编码),否则返回403。

核心逻辑:

import requests
import json
def get_jd_price(sku_id):
    url = f"https://p.3.cn/prices/mgets?skuIds=J_{sku_id}"
    headers = {
        "Referer": f"https://item.jd.com/{sku_id}.html",
        "Cookie": "ipLoc-dpc=310100"  # 上海地区
    }
    res = requests.get(url, headers=headers)
    data = json.loads(res.text)[0]
    return {
        "price": data["p"],
        "mktPrice": data["m"]
    }
print(get_jd_price("100012345678"))

4.2 知乎热榜TOP50(含评论抓取)

知乎热榜接口:/api/v4/feed/topstory/hot-lists/total?limit=50,需添加x-zse-96签名参数。该参数通过JS生成,可逆向提取算法:

def get_zh_sign(url):
    # 简化版:实际需执行JS代码生成
    return base64.b64encode(f"101_3_3.0+{url}".encode()).decode()

完整方案见python爬虫自学网站的“知乎反爬专项”章节。

4.3 爬取Google Scholar文献(绕过IP封禁)

Google Scholar对高频请求严格限制,需采用:随机延迟(1~5秒)+ 代理IP池(每50次请求切换IP)+ 请求头轮换。

代理IP池管理:

import random
import time
PROXIES = [
    {"http": "http://114.235.23.12:8080"},
    {"http": "http://221.231.148.35:80"}
]
def crawl_with_proxy(url):
    for _ in range(3):  # 最多重试3次
        try:
            proxy = random.choice(PROXIES)
            response = requests.get(url, proxies=proxy, timeout=5)
            if response.status_code == 200:
                return response.text
        except:
            time.sleep(random.uniform(1, 3))

4.4 爬取BOSS直聘职位(反爬+数据清洗)

BOSS直聘需登录后才能查看完整职位信息。流程:
① 模拟登录获取Cookie → ② 通过XHR请求获取职位列表 → ③ 解析加密的薪资字段(Base64+异或)

薪资字段示例:"aW5kZWV0fDEwMDAwfDE1MDAw",解码步骤:
base64.b64decode("aW5kZWV0fDEwMDAwfDE1MDAw") → b"indeed|10000|15000"
split("|") → ["indeed", "10000", "15000"]

4.5 学术数据库:CNKI论文下载

CNKI提供API:/kns/brief/brief.aspx?pagename=ASP.brief_result_asp,但需通过__VIEWSTATE参数维持会话。推荐使用Selenium模拟登录后,直接下载PDF:

driver.find_element(By.LINK_TEXT, "下载").click()
time.sleep(3)  # 等待PDF下载完成

五、数据存储与处理:从原始数据到可用资产

爬虫最终目标是将原始HTML转化为结构化数据。常用存储方案及适用场景如下:

存储方案 优势 适用场景
CSV/JSON文件 轻量、跨平台、易读 小规模数据(<10万条)
MySQL 事务支持、关系建模 需关联查询的结构化数据
Elasticsearch 全文检索、高并发写入 新闻、论坛等文本数据
MongoDB 文档存储、灵活Schema 非结构化数据(如JSON)

5.1 MySQL数据持久化

Scrapy通过Item Pipeline写入MySQL:

import pymysql
class MySQLPipeline:
    def open_spider(self, spider):
        self.conn = pymysql.connect(
            host="localhost",
            user="root",
            password="123456",
            database="spider"
        )
        self.cursor = self.conn.cursor()
    def process_item(self, item, spider):
        sql = "INSERT INTO books (title, rating) VALUES (%s, %s)"
        self.cursor.execute(sql, (item["title"], item["rating"]))
        self.conn.commit()
        return item
    def close_spider(self, spider):
        self.conn.close()

需在settings.py中启用:ITEM_PIPELINES = {"myspider.pipelines.MySQLPipeline": 300}

5.2 数据清洗与去重

常见问题:重复数据、乱码、缺失字段。使用pandas高效处理:

import pandas as pd
df = pd.read_csv("books.csv")
# 去除重复行
df.drop_duplicates(subset=["title"], keep="first", inplace=True)
# 清理乱码
df["title"] = df["title"].str.encode("latin1", errors="ignore").str.decode("utf-8", errors="ignore")
# 填充缺失值
df["rating"].fillna("0.0", inplace=True)
# 保存清洗后数据
df.to_csv("clean_books.csv", index=False)

5.3 数据可视化初探

用matplotlib绘制图书评分分布图:

import matplotlib.pyplot as plt
ratings = [9.3, 9.2, 9.1, 9.3, 9.0, 9.4, 9.2]
plt.hist(ratings, bins=10, edgecolor="black")
plt.title("豆瓣Top250评分分布")
plt.xlabel("评分")
plt.ylabel("书籍数量")
plt.show()

六、高频问题解答:新手最常遇到的10个问题

① 爬虫会被封IP怎么办?

立即降低请求频率(建议≥2秒/次),添加随机User-Agent,使用代理IP池。若已被封,等待24小时后恢复,或更换IP段。

② 如何判断网站是否允许爬取?

访问 https://目标网站/robots.txt(如https://www.zhihu.com/robots.txt),查看Disallow字段。但注意:robots.txt无法律约束力,仅建议遵守。

③ BeautifulSoup和lxml哪个更快?

lxml解析速度是html.parser的5~10倍,推荐安装:pip install lxml。

④ Scrapy与Selenium如何选择?

静态页面→Scrapy;动态渲染→Selenium;混合场景→Scrapy+Selenium混合架构(用Selenium获取Cookie,Scrapy发起请求)。

⑤ 如何处理JavaScript加密参数?

优先用Chrome DevTools追踪请求参数生成逻辑;若无法逆向,可提取JS代码用PyExecJS执行:

import execjs
ctx = execjs.compile(open("crypto.js").read())
sign = ctx.call("get_sign", url)

更多问题见python爬虫自学网站的“常见问题库”栏目,持续更新中。