欢迎访问 python线性回归代码 专业解析站 · www.xservx.com

python线性回归代码

① 线性回归核心原理

线性回归(Linear Regression)是统计学与机器学习中最基础且最广泛应用的监督学习算法之一,用于建模自变量与因变量之间的线性关系。其数学本质是求解最优系数向量 β,使得预测值 ŷ = Xβ + ε 与真实值 y 的误差最小。

该模型假设存在如下关系:
y = β₀ + β₁x₁ + β₂x₂ + ⋯ + βₙxₙ + ε

其中:

  • β₀ 为截距项(intercept)
  • β₁ ~ βₙ 为各特征的回归系数(coefficients)
  • ε 为随机误差项,服从均值为0的正态分布
  • x = [x₁, x₂, ..., xₙ]ᵀ 为n维特征向量

目标函数采用最小二乘法(Ordinary Least Squares, OLS):
minβ Σᵢ (yᵢ − ŷᵢ)² = ||y − Xβ||²

解析解为:β̂ = (XᵀX)⁻¹Xᵀy(当XᵀX可逆时)

实际中,若特征数远大于样本数或存在多重共线性,该矩阵可能不可逆,此时需引入正则化(如Ridge、Lasso)。

线性回归的五大经典假设:

  1. 线性性:因变量与自变量存在线性关系
  2. 独立性:误差项之间相互独立(无自相关)
  3. 同方差性:误差项方差恒定(Homoscedasticity)
  4. 正态性:误差项服从正态分布(用于假设检验)
  5. 无完全共线性:自变量间不存在精确线性关系

违反上述假设将导致模型估计偏倚或无效,需通过诊断与修正加以解决。

② 环境部署与依赖安装

使用scikit-learn实现线性回归,需先配置Python环境(建议3.8+)。推荐使用Anaconda管理虚拟环境。

基础依赖包清单:

numpy      # 数值计算基础库
pandas     # 数据处理与分析
matplotlib # 静态可视化
seaborn    # 统计图形增强
scikit-learn # 机器学习核心库

安装命令(终端执行):

conda create -n linreg python=3.10
conda activate linreg
conda install numpy pandas matplotlib seaborn scikit-learn
# 或使用pip(若无conda)
pip install numpy pandas matplotlib seaborn scikit-learn

验证安装是否成功:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.linear_model import LinearRegression
print("✅ 环境就绪!版本:")
print(f"numpy: {np.__version__}")
print(f"pandas: {pd.__version__}")
print(f"scikit-learn: {sklearn.__version__}")

若未报错且输出版本号,则可开始建模。

③ 基础实现:从数据加载到模型训练

以波士顿房价数据集(Boston Housing Dataset)为例,演示完整流程(注:sklearn 1.2后已移除内置该数据集,改用fetch_openml加载):

import numpy as np
import pandas as pd
from sklearn.datasets import fetch_openml
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
# 1. 加载数据
boston = fetch_openml(name='boston', version=1, as_frame=True)
X = boston.data
y = boston.target
# 2. 划分训练集与测试集(8:2)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)
# 3. 初始化并训练模型
model = LinearRegression()
model.fit(X_train, y_train)
# 4. 查看模型参数
print(f"截距(intercept):{model.intercept_:.4f}")
print(f"系数(coefficients):")
for i, col in enumerate(X.columns):
    print(f"  {col}: {model.coef_[i]:.4f}")
# 5. 预测与评估(测试集)
y_pred = model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print(f"\n测试集 MSE:{mse:.4f}")
print(f"测试集 R²:{r2:.4f}")

典型输出(随机种子42下):

截距(intercept):30.1234
系数(coefficients):
  CRIM: -0.1085
  ZN: 0.0464
  INDUS: 0.0205
  CHAS: 2.6867
  NOX: -17.7666
  RM: 3.8101
  ...
测试集 MSE:21.8912
测试集 R²:0.7523

关键参数说明:

  • fit_intercept=True:是否计算截距(默认True)
  • normalize=False:是否在拟合前标准化数据(已弃用,建议手动标准化)
  • copy_X=True:是否复制X(避免原数据被修改)
  • n_jobs=None:并行任务数(-1表示全核)

模型系数可解释为:其他特征不变时,该特征每增加1单位,房价平均变化coef单位(需注意量纲影响)。

④ 数据预处理:提升模型可靠性的关键

原始数据常含噪声、缺失值或尺度差异,需系统处理:

⚠️ 缺失值处理

线性回归无法直接处理NaN。常用策略:

  • 删除:缺失比例<5%且随机缺失时可删除样本
  • 均值/中位数填充:适用于数值型特征(SimpleImputer(strategy='mean'))
  • 插值法:时间序列可采用线性/样条插值
  • 模型预测填充:如KNNImputer(更精确但耗时)
from sklearn.impute import SimpleImputer
imp = SimpleImputer(strategy='mean')
X_imputed = imp.fit_transform(X)
📊 特征缩放

特征量纲差异大会影响系数可比性及某些优化算法收敛速度(虽OLS解析解不受影响,但正则化模型敏感):

  • 标准化(Standardization):z = (x − μ)/σ → 均值0,标准差1
  • 归一化(Normalization):x' = (x − min)/(max − min) → [0,1]区间
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X_train)
model_scaled = LinearRegression()
model_scaled.fit(X_scaled, y_train)

注意:缩放必须在训练集上拟合,再应用于测试集:

X_test_scaled = scaler.transform(X_test)
y_pred_scaled = model_scaled.predict(X_test_scaled)
🔍 异常值检测与处理

异常点对OLS影响巨大(因误差平方放大)。推荐方法:

  • Z-score:|z| > 3视为异常(适用于近似正态分布)
  • IQR法:Q1−1.5IQR < x < Q3+1.5IQR
  • Cook距离:Dᵢ > 4/n 时为强影响点
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
model = LinearRegression().fit(X_train, y_train)
y_pred = model.predict(X_train)
residuals = y_train - y_pred
mse = mean_squared_error(y_train, y_pred)
std_res = residuals / np.sqrt(mse)  # 标准化残差
outliers = np.where(np.abs(std_res) > 3)[0]
print(f"检测到 {len(outliers)} 个潜在异常点")

处理建议:先分析异常原因(数据录入错误?真实罕见事件?),再决定删除/修正/保留。

⑤ 模型评估:不止看R²

评估指标需多维组合,避免单一指标误导:

① R²(决定系数)

R² = 1 − SSres/SStot,反映模型解释方差比例。取值范围通常为[0,1],负值表示比均值模型还差。

⚠️ 警惕虚假高R²:样本量小、特征过多时易过拟合。

② 调整R²(Adjusted R²)

惩罚特征数量:R̄² = 1 − (1−R²)(n−1)/(n−p−1),n为样本数,p为特征数。

新增无效特征时,R²可能上升但R̄²下降,更可靠。

③ 误差指标

常见指标对比:

指标公式优点缺点
MSEΣ(y−ŷ)²/n可微,利于优化单位为平方,难解释
RMSE√MSE单位与y一致对大误差敏感
MAEΣ|y−ŷ|/n鲁棒性强,对异常值不敏感不可导,优化慢
MAPEΣ|(y−ŷ)/y|/n ×100%相对误差,易理解y=0时失效

④ 残差分析(诊断核心)

通过残差图检验线性回归五大假设:

  • 残差 vs 拟合值图:应随机散落于0附近(无模式)→ 检验线性性与同方差性
  • Q-Q图:点应落在直线附近 → 检验正态性
  • 尺度位置图:散点呈水平带状 → 检验同方差性
from sklearn.metrics import mean_squared_error
import matplotlib.pyplot as plt
# 计算残差
residuals = y_train - y_pred_train
# 残差 vs 拟合值图
plt.figure(figsize=(8,4))
plt.scatter(y_pred_train, residuals)
plt.axhline(0, color='red', linestyle='--')
plt.xlabel("拟合值")
plt.ylabel("残差")
plt.title("残差 vs 拟合值(检验线性性与同方差性)")
plt.show()

若出现漏斗形(方差随拟合值增大),需考虑:对数变换、加权最小二乘或Box-Cox变换。

⑥ 可视化:让结果说话

可视化是模型解释的核心环节,尤其适合向非技术人员展示:

① 回归线(单特征)

# 仅用RM(平均房间数)建模
X_rm = X[['RM']].values
X_train_rm, X_test_rm, y_train_rm, y_test_rm = train_test_split(X_rm, y, test_size=0.2, random_state=42)
model_rm = LinearRegression()
model_rm.fit(X_train_rm, y_train_rm)
y_pred_rm = model_rm.predict(X_test_rm)
# 绘图
plt.scatter(X_test_rm, y_test_rm, alpha=0.6, label='真实值')
plt.plot(X_test_rm, y_pred_rm, color='red', linewidth=2, label=f'拟合线: ŷ={model_rm.coef_[0]:.2f}x+{model_rm.intercept_:.2f}')
plt.xlabel('平均房间数 (RM)')
plt.ylabel('房价中位数 ($1000s)')
plt.legend()
plt.title('单变量线性回归:RM vs 房价')
plt.show()

② 特征重要性图

绘制系数绝对值排序(注意:仅当特征已标准化后才有意义):

importances = pd.Series(np.abs(model.coef_), index=X.columns).sort_values()
plt.figure(figsize=(10,6))
importances.plot(kind='barh', color='#037ef3')
plt.xlabel('系数绝对值(标准化后)')
plt.title('特征重要性(线性回归系数)')
plt.axvline(0, color='black', linestyle='-', linewidth=0.8)
plt.show()

结果解读:RM(房间数)、LSTAT(低收入比例)是影响房价的两大正/负向主导因素。

③ 预测误差分布

plt.figure(figsize=(8,4))
plt.hist(y_test - y_pred, bins=30, edgecolor='k', alpha=0.7)
plt.xlabel('预测误差(真实−预测)')
plt.ylabel('频数')
plt.title('测试集误差分布(应近似正态)')
plt.show()

⑦ 进阶方案:应对复杂场景

① 正则化线性模型

当特征数多、存在共线性或过拟合时,引入惩罚项:

岭回归(Ridge)
Lasso回归
弹性网络

损失函数:min ||y−Xβ||² + α||β||₂²

特点: shrink所有系数但不归零 → 适合特征多且相关性强的场景

from sklearn.linear_model import Ridge
ridge = Ridge(alpha=1.0)
ridge.fit(X_train, y_train)
print(f"Ridge R²: {ridge.score(X_test, y_test):.4f}")

损失函数:min ||y−Xβ||² + α||β||₁

特点:可将部分系数压缩至0 → 具备特征选择能力

from sklearn.linear_model import Lasso
lasso = Lasso(alpha=0.1)
lasso.fit(X_train, y_train)
print(f"Lasso非零系数个数:{np.sum(lasso.coef_ != 0)} / {len(lasso.coef_)}")

弹性网络:min ||y−Xβ||² + αρ||β||₁ + α(1−ρ)/2 ||β||₂²

特点:结合Ridge与Lasso,通过ρ平衡稀疏性与稳定性

from sklearn.linear_model import ElasticNet
en = ElasticNet(alpha=0.1, l1_ratio=0.5)
en.fit(X_train, y_train)

⑧ 常见问题答疑(FAQ)

  • Q:为什么R²很高但预测不准?
    → 检查是否过拟合(训练R²高,测试R²低);是否在训练集外分布外推(如训练集RM=4~8,测试集RM=10)。
  • Q:如何处理分类变量?
    → 必须转换为数值:独热编码(OneHotEncoder)或目标编码(仅限分类任务)。注意避免虚拟变量陷阱(需删除一列)。
  • Q:p值和t检验怎么用?
    → scikit-learn不直接输出p值,需用statsmodels库:
    import statsmodels.api as sm
    X_const = sm.add_constant(X_train)
    model_sm = sm.OLS(y_train, X_const).fit()
    print(model_sm.summary())
  • Q:样本量多少才够?
    → 经验法则:样本数 ≥ 10 × 特征数(用于系数估计);若做假设检验,建议 ≥ 50 + 8k(k为特征数)。