系统掌握SMOTE、Tomek Links、NearMiss、Cluster Centroids等主流下采样技术,解决分类模型中的类别不平衡问题,提升预测性能与业务价值。
在机器学习建模过程中,类别分布极度不均衡(如正负样本比例达1:100甚至更高)会导致模型严重偏向多数类。例如在欺诈检测场景中,若欺诈样本仅占0.5%,模型若简单预测“全部为非欺诈”,即可达到99.5%准确率——但这毫无业务价值。此时准确率(Accuracy)成为误导性指标,而召回率(Recall)与精确率(Precision)更反映真实能力。
下采样通过减少多数类样本数量,使类别分布更均衡,从而引导模型关注少数类特征。其核心目标是:在不损失关键信息的前提下,提升少数类识别能力。
与上采样(如SMOTE)不同,下采样不新增合成样本,而是主动删除多数类样本。该策略适用于以下场景:
典型权衡:下采样牺牲部分多数类信息,换取训练速度与模型泛化能力的提升;上采样保留全部数据但易过拟合。实践中常组合使用,如SMOTE + Tomek Links。
评估下采样效果需关注:加权准确率(Weighted Accuracy)、F1-Score、G-Mean(几何均值)及AUC-ROC。其中G-Mean计算公式为:
| 指标 | 公式 | 适用场景 |
|---|---|---|
| G-Mean | √(Recall⁺ × Recall⁻) | 平衡两类召回能力 |
| F1-Score | 2×(P×R)/(P+R) | 关注少数类精确率与召回 |
| AUC-ROC | 积分值 | 整体分类能力 |
表1:下采样效果评估核心指标
最基础策略:从多数类中随机删除样本,直至类别比例达标。优点是计算高效、无信息偏差;缺点是可能丢失关键边界样本,导致欠拟合。
典型代码实现:
from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler(sampling_strategy=0.5, random_state=42)
X_res, y_res = rus.fit_resample(X, y)
⚠️ 注意:必须在划分训练集/测试集后对训练集单独采样,避免数据泄露!
通过K-Means对多数类聚类,仅保留各簇中心点。可保留多数类分布结构,减少信息损失。适用于高维数据,但聚类数量需手动指定。
适用场景:多数类存在明显子群体(如不同用户行为模式)。
from imblearn.under_sampling import ClusterCentroids
cc = ClusterCentroids(random_state=42)
X_res, y_res = cc.fit_resample(X, y)
Tomek Links定义:若样本x与y属于不同类别,且无其他样本z满足dist(x,z) < dist(x,y)或dist(y,z) < dist(x,y),则(x,y)构成Tomek Links。此类样本对位于类别边界,删除多数类样本可增强分类边界清晰度。
优势:保留关键边界信息,提升SVM等边界敏感模型性能。
from imblearn.under_sampling import TomekLinks
tomek = TomekLinks(sampling_strategy='auto')
X_res, y_res = tomek.fit_resample(X, y)
通过距离度量保留多数类中与少数类最近的样本。提供三种变体:
典型应用:文本分类中保留高频关键词样本,避免语义信息丢失。
先用SMOTE合成少数类样本,再用Tomek Links清理边界噪声。该组合在保持少数类多样性的同时,提升多数类边界清晰度。
实测效果:在Kaggle credit-card-fraud数据集上,组合策略使F1-Score提升12.3%,而单一SMOTE仅提升7.1%。
from imblearn.combine import SMOTETomek
smote_tomek = SMOTETomek(random_state=42)
X_res, y_res = smote_tomek.fit_resample(X, y)
基于scikit-learn生态构建,提供完整下采样工具链。安装命令:pip install imbalanced-learn
核心优势:
通过继承BaseSampler可扩展新算法。例如实现基于密度的采样:
from imblearn.base import BaseSampler
from sklearn.neighbors import NearestNeighbors
import numpy as np
class DensityBasedUnderSampler(BaseSampler):
def __init__(self, ratio=0.5):
self.ratio = ratio
def _fit_resample(self, X, y):
# 实现逻辑:保留高密度区域多数类样本
return X_res, y_res
💡 提示:自定义采样器需实现_fit_resample方法,并返回self与sample_indices。
在H2O.ai或Auto-sklearn中,可通过Preprocessor模块接入下采样策略:
from imblearn.under_sampling import NearMiss
from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestClassifier
pipeline = Pipeline([
('undersample', NearMiss(version=3)),
('clf', RandomForestClassifier())
])
该结构确保采样仅在训练阶段执行,避免测试集污染。
使用Kaggle Credit Card Fraud Detection数据集:
| 字段 | 类型 | 说明 |
|---|---|---|
| Time | float | 交易时间(秒) |
| V1-V28 | float | PCA降维特征 |
| Amount | float | 交易金额 |
| Class | int | 标签(0:正常, 1:欺诈) |
表2:数据集核心字段说明
使用逻辑回归构建基线模型:
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report
model = LogisticRegression(class_weight='balanced')
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))
结果:欺诈类F1-Score仅0.78,召回率0.82——看似不错,但实际部署后漏检率仍高达18%。
F1-Score:0.89
召回率:0.87
训练时间:2.1秒
优点:速度快;缺点:可能丢失边界样本。
F1-Score:0.91
召回率:0.89
训练时间:18.7秒
优点:保留关键多数类样本;缺点:计算开销高。
F1-Score:0.93
召回率:0.90
训练时间:25.3秒
优点:边界清晰、泛化强;缺点:合成样本可能引入噪声。
| 模型 | 真正常 | 真欺诈 | 假正常 | 假欺诈 |
|---|---|---|---|---|
| 基线模型 | 56,782 | 78 | 12 | 44 |
| SMOTE-Tomek | 56,910 | 81 | 7 | 41 |
表3:两种模型混淆矩阵对比(单位:样本数)
可能原因:
解决方案:采用分层采样(Stratified Sampling),确保每折验证中类别比例一致。
推荐流程:
示例:医疗诊断中,假阴性成本远高于假阳性,可选择1:1比例以提升召回率。
在时间序列场景(如欺诈检测),随机下采样会破坏时间连续性。正确做法:
# 时间感知采样伪代码
X_train, X_test = split_by_time(X, threshold_date)
# 仅对X_train采样
X_resampled, y_resampled = undersample(X_train, y_train)
常见错误:在交叉验证的每折中,先对全量数据采样再划分训练/验证集,导致数据泄露。正确流程:
| 算法 | 时间复杂度 | 空间复杂度 | 适用数据规模 |
|---|---|---|---|
| Random Under-Sampling | O(n) | O(n) | 百万级+ |
| Cluster Centroids | O(nkdi) | O(kd) | 十万~百万 |
| NearMiss-3 | O(n²) | O(n) | 万级 |
| SMOTE-Tomek | O(n²) | O(n) | 万级 |
表4:不同算法性能特性对比(n=样本数,k=簇数,d=维度,i=迭代次数)