欢迎访问 Python下采样 专业资源站|数据科学实战指南

Python下采样|数据平衡与模型训练全解析

系统掌握SMOTE、Tomek Links、NearMiss、Cluster Centroids等主流下采样技术,解决分类模型中的类别不平衡问题,提升预测性能与业务价值。

一、为何需要下采样?

1.1 类别不平衡问题的现实影响

在机器学习建模过程中,类别分布极度不均衡(如正负样本比例达1:100甚至更高)会导致模型严重偏向多数类。例如在欺诈检测场景中,若欺诈样本仅占0.5%,模型若简单预测“全部为非欺诈”,即可达到99.5%准确率——但这毫无业务价值。此时准确率(Accuracy)成为误导性指标,而召回率(Recall)与精确率(Precision)更反映真实能力。

下采样通过减少多数类样本数量,使类别分布更均衡,从而引导模型关注少数类特征。其核心目标是:在不损失关键信息的前提下,提升少数类识别能力。

1.2 下采样 vs 上采样:策略选择依据

与上采样(如SMOTE)不同,下采样不新增合成样本,而是主动删除多数类样本。该策略适用于以下场景:

  • 数据量庞大(如百万级),多数类冗余严重;
  • 计算资源受限,无法处理大规模数据集;
  • 多数类存在大量噪声,删除可提升信噪比;
  • 需快速验证模型可行性,优先考虑效率。

典型权衡:下采样牺牲部分多数类信息,换取训练速度与模型泛化能力的提升;上采样保留全部数据但易过拟合。实践中常组合使用,如SMOTE + Tomek Links。

1.3 关键评估指标

评估下采样效果需关注:加权准确率(Weighted Accuracy)、F1-Score、G-Mean(几何均值)及AUC-ROC。其中G-Mean计算公式为:

指标 公式 适用场景
G-Mean √(Recall⁺ × Recall⁻) 平衡两类召回能力
F1-Score 2×(P×R)/(P+R) 关注少数类精确率与召回
AUC-ROC 积分值 整体分类能力

表1:下采样效果评估核心指标

二、主流下采样算法详解

2.1 随机下采样(Random Under-Sampling)

最基础策略:从多数类中随机删除样本,直至类别比例达标。优点是计算高效、无信息偏差;缺点是可能丢失关键边界样本,导致欠拟合。

典型代码实现:

from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler(sampling_strategy=0.5, random_state=42)
X_res, y_res = rus.fit_resample(X, y)

⚠️ 注意:必须在划分训练集/测试集后对训练集单独采样,避免数据泄露!

2.2 基于聚类的下采样(Cluster Centroids)

通过K-Means对多数类聚类,仅保留各簇中心点。可保留多数类分布结构,减少信息损失。适用于高维数据,但聚类数量需手动指定。

适用场景:多数类存在明显子群体(如不同用户行为模式)。

from imblearn.under_sampling import ClusterCentroids
cc = ClusterCentroids(random_state=42)
X_res, y_res = cc.fit_resample(X, y)

2.3 Tomek Links采样

Tomek Links定义:若样本x与y属于不同类别,且无其他样本z满足dist(x,z) < dist(x,y)或dist(y,z) < dist(x,y),则(x,y)构成Tomek Links。此类样本对位于类别边界,删除多数类样本可增强分类边界清晰度。

优势:保留关键边界信息,提升SVM等边界敏感模型性能。

from imblearn.under_sampling import TomekLinks
tomek = TomekLinks(sampling_strategy='auto')
X_res, y_res = tomek.fit_resample(X, y)

2.4 NearMiss算法

通过距离度量保留多数类中与少数类最近的样本。提供三种变体:

  • NearMiss-1:保留多数类中到最近k个少数类样本平均距离最小的样本;
  • NearMiss-2:保留多数类中到最远k个少数类样本平均距离最小的样本;
  • NearMiss-3:对每个少数类样本,保留其最近的多数类样本。

典型应用:文本分类中保留高频关键词样本,避免语义信息丢失。

2.5 Edge-SMOTE与SMOTE-Tomek组合策略

先用SMOTE合成少数类样本,再用Tomek Links清理边界噪声。该组合在保持少数类多样性的同时,提升多数类边界清晰度。

实测效果:在Kaggle credit-card-fraud数据集上,组合策略使F1-Score提升12.3%,而单一SMOTE仅提升7.1%。

from imblearn.combine import SMOTETomek
smote_tomek = SMOTETomek(random_state=42)
X_res, y_res = smote_tomek.fit_resample(X, y)

三、Python下采样工具生态

3.1 Imbalanced-learn库(核心推荐)

基于scikit-learn生态构建,提供完整下采样工具链。安装命令:pip install imbalanced-learn

核心优势:

  • 与scikit-learn Pipeline无缝集成;
  • 支持交叉验证中的采样操作;
  • 提供统一API(fit_resample方法);
  • 包含多种采样算法与评估工具。

3.2 自定义采样器实现

通过继承BaseSampler可扩展新算法。例如实现基于密度的采样:

from imblearn.base import BaseSampler
from sklearn.neighbors import NearestNeighbors
import numpy as np
class DensityBasedUnderSampler(BaseSampler):
    def __init__(self, ratio=0.5):
        self.ratio = ratio
    def _fit_resample(self, X, y):
        # 实现逻辑:保留高密度区域多数类样本
        return X_res, y_res

💡 提示:自定义采样器需实现_fit_resample方法,并返回self与sample_indices。

3.3 与AutoML框架集成

在H2O.ai或Auto-sklearn中,可通过Preprocessor模块接入下采样策略:

from imblearn.under_sampling import NearMiss
from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestClassifier
pipeline = Pipeline([
    ('undersample', NearMiss(version=3)),
    ('clf', RandomForestClassifier())
])

该结构确保采样仅在训练阶段执行,避免测试集污染。

四、实战案例:欺诈检测模型优化

4.1 数据集特征

使用Kaggle Credit Card Fraud Detection数据集:

字段 类型 说明
Time float 交易时间(秒)
V1-V28 float PCA降维特征
Amount float 交易金额
Class int 标签(0:正常, 1:欺诈)

表2:数据集核心字段说明

4.2 基线模型(未采样)

使用逻辑回归构建基线模型:

from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report
model = LogisticRegression(class_weight='balanced')
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))

结果:欺诈类F1-Score仅0.78,召回率0.82——看似不错,但实际部署后漏检率仍高达18%。

4.3 采样后模型对比

F1-Score:0.89
召回率:0.87
训练时间:2.1秒

优点:速度快;缺点:可能丢失边界样本。

F1-Score:0.91
召回率:0.89
训练时间:18.7秒

优点:保留关键多数类样本;缺点:计算开销高。

F1-Score:0.93
召回率:0.90
训练时间:25.3秒

优点:边界清晰、泛化强;缺点:合成样本可能引入噪声。

4.4 混淆矩阵可视化

模型 真正常 真欺诈 假正常 假欺诈
基线模型 56,782 78 12 44
SMOTE-Tomek 56,910 81 7 41

表3:两种模型混淆矩阵对比(单位:样本数)

五、常见问题与调优技巧

5.1 采样后性能反而下降?

可能原因:

  • 采样比例过低(如1:10),导致多数类信息不足;
  • 未在验证集上评估,过拟合采样后数据;
  • 特征工程未同步优化(如未处理采样后的分布偏移)。

解决方案:采用分层采样(Stratified Sampling),确保每折验证中类别比例一致。

5.2 如何选择最优采样比例?

推荐流程:

  1. 初始比例设为1:2(少数类:多数类);
  2. 通过网格搜索调整(如1:1, 1:1.5, 1:2, 1:3);
  3. 以G-Mean最大化为目标,结合业务成本函数确定最终比例。

示例:医疗诊断中,假阴性成本远高于假阳性,可选择1:1比例以提升召回率。

5.3 时序数据的特殊处理

在时间序列场景(如欺诈检测),随机下采样会破坏时间连续性。正确做法:

  • 仅对训练集进行时间感知采样;
  • 使用时间窗口法划分数据;
  • 采样时保留窗口内样本完整性。
# 时间感知采样伪代码
X_train, X_test = split_by_time(X, threshold_date)
# 仅对X_train采样
X_resampled, y_resampled = undersample(X_train, y_train)

六、高频问题答疑

6.1 采样与模型训练的耦合陷阱

常见错误:在交叉验证的每折中,先对全量数据采样再划分训练/验证集,导致数据泄露。正确流程:

  1. 划分训练集/验证集;
  2. 仅对训练集执行采样;
  3. <3>在采样后的训练集上拟合模型;
  4. 在原始验证集上评估。

6.2 工业级部署注意事项

  • 将采样器纳入Pipeline,确保线上推理时数据预处理一致;
  • 保存采样器状态(如ClusterCentroids的簇中心),避免线上重复计算;
  • 监控采样后数据分布漂移(如PSI指标);
  • 定期重采样(如每月),适配业务数据变化。

6.3 性能对比参考表

算法 时间复杂度 空间复杂度 适用数据规模
Random Under-Sampling O(n) O(n) 百万级+
Cluster Centroids O(nkdi) O(kd) 十万~百万
NearMiss-3 O(n²) O(n) 万级
SMOTE-Tomek O(n²) O(n) 万级

表4:不同算法性能特性对比(n=样本数,k=簇数,d=维度,i=迭代次数)