Python线性回归代码|从零入门到实战部署

完整代码示例|核心原理精讲|常见陷阱解析|真实数据建模|优化建议汇总|新手零基础友好

为什么选择本指南?
聚焦新手痛点,覆盖从安装到部署全流程
⚡

即刻运行

所有代码均经过Python 3.8+实测验证,复制即用,无需额外配置环境

⚙️

原理透彻

从最小二乘法到梯度下降,讲清线性回归的数学本质

〔〕

实战导向

基于Boston房价与糖尿病数据集的真实建模流程

〈〉

诊断全面

涵盖多重共线性、异方差性、自相关性检测与修正

《》

扩展丰富

延伸至岭回归、Lasso回归等正则化方法进阶应用

「」

部署就绪

提供Flask API封装与PMML导出方案,支持生产环境落地

主流线性回归实现方式
对比不同库的适用场景与性能表现
sklearn标准版
numpy纯实现
statsmodels统计版
pandas+ols
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error, r2_score
# 加载数据
boston = load_boston()
X = pd.DataFrame(boston.data, columns=boston.feature_names)
y = boston.target
# 拆分训练/测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 建模与训练
model = LinearRegression()
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
# 评估指标
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
r2 = r2_score(y_test, y_pred)
print("RMSE: {:.4f}, R²: {:.4f}".format(rmse, r2))
print("模型系数:", model.coef_)
print("截距项:", model.intercept_)
import numpy as np
from sklearn.datasets import load_boston
# 加载数据
boston = load_boston()
X = boston.data
y = boston.target
# 添加偏置项(截距)
X_b = np.c_[np.ones((X.shape[0], 1)), X]
# 正规方程解:θ = (X'X)⁻¹X'y
theta_best = np.linalg.inv(X_b.T @ X_b) @ X_b.T @ y
# 预测
y_pred = X_b @ theta_best
# 评估
mse = np.mean((y - y_pred) ** 2)
rmse = np.sqrt(mse)
ss_res = np.sum((y - y_pred) ** 2)
ss_tot = np.sum((y - np.mean(y)) ** 2)
r2 = 1 - (ss_res / ss_tot)
print("RMSE: {:.4f}, R²: {:.4f}".format(rmse, r2))
print("参数向量(含截距):", theta_best)
import pandas as pd
import statsmodels.api as sm
from sklearn.datasets import load_boston
boston = load_boston()
X = pd.DataFrame(boston.data, columns=boston.feature_names)
y = boston.target
# 添加常数项
X = sm.add_constant(X)
# 拟合模型
model = sm.OLS(y, X).fit()
# 输出详细结果
print(model.summary())
import pandas as pd
import statsmodels.formula.api as smf
from sklearn.datasets import load_boston
boston = load_boston()
df = pd.DataFrame(boston.data, columns=boston.feature_names)
df["target"] = boston.target
# 公式语法建模
formula = 'target ~ CRIM + ZN + INDUS + CHAS + NOX + RM + AGE + DIS + RAD + TAX + PTRATIO + B + LSTAT'
model = smf.ols(formula, data=df).fit()
print(model.summary())
线性回归核心原理
用公式说话,理解每个系数的含义
数学建模
五大假设
参数估计
模型诊断

数学模型定义

线性回归旨在建立因变量y与一个或多个自变量X = (x₁, x₂, ..., xₚ)之间的线性关系:

y = β₀ + β₁x₁ + β₂x₂ + ... + βₚxₚ + ε = Xβ + ε

其中:

  • β₀:截距项(当所有x=0时y的期望值)
  • β₁, ..., βₚ:偏回归系数,表示对应自变量每增加1单位,y的平均变化量
  • ε:随机误差项,满足E(ε)=0且Var(ε)=σ²

关键点:线性性指对参数β线性,而非对自变量x线性(如y=β₀+β₁x+β₂x²仍属线性回归)。

五大经典假设(高斯-马尔可夫条件)

假设1:线性性
因变量与自变量呈线性关系
若存在非线性关系,需通过多项式项、对数变换或广义线性模型处理。
假设2:独立性
误差项之间相互独立(无自相关)
时间序列数据中常见违反,可用Durbin-Watson检验检测。
假设3:同方差性
误差项方差恒定(Var(εᵢ)=σ²)
异方差会导致OLS估计量非有效,可用Breusch-Pagan或White检验。
假设4:正态性
误差项服从正态分布(εᵢ ~ N(0, σ²))
小样本下影响显著,大样本下中心极限定理可缓解;用Q-Q图或Shapiro-Wilk检验。
假设5:无多重共线性
自变量间无线性相关性
共线性使系数估计不稳定;用方差膨胀因子VIF > 10判定。

参数估计方法:最小二乘法(OLS)

目标:最小化残差平方和

minβ Σ(yᵢ − ŷᵢ)² = minβ (y − Xβ)ᵀ(y − Xβ)

解析解(正规方程):

β̂ = (XᵀX)⁻¹Xᵀy

几何意义:β̂ 是向量y在X列空间上的正交投影。

Python实现核心:sklearn的LinearRegression底层调用LAPACK的DGELSD(SVD分解),对病态矩阵更鲁棒。

模型诊断指标

指标 公式 解读
R²(决定系数) 1 − SSR/SST 解释方差比例;0~1,越接近1拟合越好;但易随变量增加而虚高
调整R² 1 − (1−R²)(n−1)/(n−p−1) 惩罚变量数,避免过拟合;可负值
F检验 [(SSRR−SSRU)/q] / [SSRU/(n−p−1)] 联合显著性:H₀: β₁=...=βₚ=0;p<0.05拒绝原假设
t检验 β̂ⱼ / SE(β̂ⱼ) 单个系数显著性;|t|>2通常认为显著(p<0.05)
残差标准误(S) √[Σeᵢ²/(n−p−1)] 预测值与真实值的平均偏差;单位与y一致
真实案例:糖尿病数据集建模全流程
包含数据预处理→建模→诊断→可视化完整链路
完整流程
结果可视化
新样本预测

糖尿病数据集完整建模脚本

数据说明:10个基线特征(年龄、性别、BMI、血清指标等)预测一年后疾病进展定量指标

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import load_diabetes
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_val_score
from sklearn.metrics import mean_squared_error, r2_score
from scipy import stats
# 1. 加载数据
diabetes = load_diabetes()
X = pd.DataFrame(diabetes.data, columns=diabetes.feature_names)
y = diabetes.target
# 2. 探索性分析
print("数据维度:", X.shape)
print("y分布偏度:", y.skew())
# 热力图查看相关性
plt.figure(figsize=(10, 8))
corr = pd.concat([X, pd.Series(y, name="target")], axis=1).corr()
sns.heatmap(corr, annot=True, fmt=".2f", cmap="coolwarm", center=0)
plt.title("特征相关性热力图")
plt.show()
# 3. 拆分数据
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=123)
# 4. 建模
model = LinearRegression()
model.fit(X_train, y_train)
# 5. 评估
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)
print("训练集 RMSE: {:.2f}, R²: {:.4f}".format(np.sqrt(mean_squared_error(y_train, y_train_pred)), r2_score(y_train, y_train_pred)))
print("测试集 RMSE: {:.2f}, R²: {:.4f}".format(np.sqrt(mean_squared_error(y_test, y_test_pred)), r2_score(y_test, y_test_pred)))
# 6. 交叉验证
cv_scores = cross_val_score(model, X, y, cv=5, scoring='neg_mean_squared_error')
cv_rmse = np.sqrt(-cv_scores)
print("5折CV RMSE均值: {:.2f} ± {:.2f}".format(cv_rmse.mean(), cv_rmse.std()))
# 7. 残差诊断
residuals = y_test - y_test_pred
plt.figure(figsize=(12, 4))
plt.subplot(1,2,1)
plt.scatter(y_test_pred, residuals)
plt.axhline(y=0, color='r', linestyle='--')
plt.xlabel('预测值')
plt.ylabel('残差')
plt.title('残差图:检查异方差性')
plt.subplot(1,2,2)
stats.probplot(residuals, dist="norm", plot=plt)
plt.title('Q-Q图:检查正态性')
plt.tight_layout()
plt.show()
# 8. 系数解读
coef_df = pd.DataFrame({
    '特征': X.columns,
    '系数': model.coef_,
    '|系数|': np.abs(model.coef_)
}).sort_values('|系数|', ascending=False)
print("特征重要性排序(绝对系数值):")
print(coef_df)

关键可视化解读

残差图:若点随机分布在0线附近→满足线性与同方差;若呈漏斗形→异方差;若呈曲线→非线性关系

Q-Q图:点沿对角线分布→残差近似正态;S形偏离→尾部过厚;反S形→尾部过薄

偏残差图(部分回归图):可检查单变量线性假设是否成立

杠杆值与Cook距离图:识别高杠杆点与强影响点(Cook距离 > 1需重点关注)

对新样本预测与置信区间

# 构造新样本(BMI=25.5, 血糖=100, 其他取中位数)
new_data = X.median().to_dict()
new_data['bmi'] = 25.5
new_data['s5'] = 100  # 血清指标5
new_X = pd.DataFrame([new_data])
# 点预测
pred = model.predict(new_X)[0]
print("预测疾病进展值:{:.2f}".format(pred))
# 95%预测区间(近似)
residuals_std = np.sqrt(np.mean(residuals ** 2))
# 标准误差(近似)
se_pred = residuals_std * np.sqrt(1 + new_X @ np.linalg.inv(X_train.T @ X_train) @ new_X.T)
ci_lower = pred - 1.96 * se_pred
ci_upper = pred + 1.96 * se_pred
print("95%预测区间:[{:.2f}, {:.2f}]".format(ci_lower[0][0], ci_upper[0][0]))
网友最关心的10个问题
覆盖新手高频困惑点
Q1:线性回归和逻辑回归到底有什么区别?

A:核心区别在于因变量类型与函数形式:

  • 线性回归:因变量y为连续数值型,模型为y = Xβ + ε;误差服从正态分布
  • 逻辑回归:因变量y为二分类(0/1),模型为P(y=1) = 1/(1+e−Xβ);误差服从二项分布

常见误区:逻辑回归虽名“回归”,实为分类算法;线性回归不能直接用于分类(因预测值可能超出[0,1])。

Q2:为什么我的R²很高但预测效果很差?

A:这通常表明存在过拟合或数据泄露:

  • 训练集R²高 + 测试集R²低 → 模型过度拟合训练数据
  • 所有指标都高但实际预测不准 → 数据预处理时未来信息泄露(如用全量数据标准化)
  • 高R²但系数符号与常识相反 → 多重共线性干扰

解决方案:交叉验证、正则化、检查数据预处理流程、VIF诊断共线性。

Q3:样本量需要多少才够?

A:经验法则(Green, 1991):

  • 最小样本量:n ≥ 50 + 8m(m为自变量个数)
  • 稳健估计:n ≥ 104 + m(Tabachnick & Fidell, 2007)

实际中:m=5时至少需190样本;若存在共线性或异方差,需更大样本量。

Python检验:用statsmodels的diagnostic工具查看条件数(condition number > 1000可能不稳健)。

Q4:如何处理分类变量?

A:需转换为哑变量(Dummy Variables):

  • K类分类变量 → 生成K−1个哑变量(避免完全共线性)
  • sklearn中用OneHotEncoder或pandas.get_dummies
import pandas as pd
df = pd.DataFrame({'y': [1,2,3], 'x': ['A','B','A']})
X = pd.get_dummies(df[['x']], drop_first=True)  # drop_first=True避免虚拟变量陷阱
Q5:特征标准化必要吗?

A:对OLS估计无影响,但影响:

  • 系数可比性:标准化后系数可直接比较重要性
  • 数值稳定性:极端尺度变量可能导致数值误差
  • 正则化模型:Ridge/Lasso必须标准化,否则惩罚不均衡

建议:仅用sklearn的StandardScaler(fit on train, transform both)。

Q6:如何自动选择最优特征?

A:三种主流方法:

方法 原理 Python实现
向前选择 每次加入p值最小的变量,直至无显著变量 statsmodels的stepwise
向后剔除 从全模型开始,每次剔除p值最大的变量 手动循环:model.pvalues.idxmax()
Lasso正则化 L1惩罚使部分系数收缩为0 sklearn.linear_model.LassoCV
Q7:残差不满足正态性怎么办?

A:三步策略:

  1. 数据变换:对y取对数/平方根(缓解偏态)
  2. 稳健标准误:用statsmodels.RLM(Huber-White估计)
  3. 非参数方法:Bootstrap置信区间
# 稳健线性模型
import statsmodels.api as sm
model_robust = sm.RLM(y, X, M=sm.robust.norms.HuberT()).fit()
Q8:模型能外推吗?

A:极度谨慎!线性模型仅在观测数据范围内可靠:

  • 外推预测:若x₀超出训练范围,预测值可能严重偏离
  • 案例:用身高160-180cm数据建模,预测190cm身高体重会高估

建议:用预测区间而非点预测;外推时明确标注风险。

Q9:如何解释交互项?

A:交互项表示调节效应:

模型:y = β₀ + β₁x₁ + β₂x₂ + β₃(x₁×x₂) + ε

β₃显著 → x₁对y的影响依赖于x₂的水平

Python实现:

# 手动交互项
X['x1_x2'] = X['x1'] * X['x2']
# 或公式语法
formula = 'y ~ x1 * x2'  # 等价于 y ~ x1 + x2 + x1:x2
Q10:如何部署到生产环境?

A:推荐三步流程:

  1. 保存模型:joblib.dump(model, 'linreg.pkl')
  2. API封装:Flask/FastAPI返回JSON预测结果
  3. 监控:实时记录预测与真实值,定期重训

生产级注意:特征工程一致性、输入校验、异常处理、版本管理。

常用线性回归数据集
便于实操练习的公开数据源
sklearn内置
sklearn扩展
外部资源

1. load_boston(波士顿房价)

1978年波士顿郊区房价数据,506样本,13特征(CRIM, ZN, INDUS...)

适用场景:基础教学、特征工程
注意:2020年起sklearn弃用(含种族偏差),仅用于学习

2. load_diabetes(糖尿病)

442样本,10个基线特征预测疾病进展

优势:无缺失、特征标准化、适合回归入门
变量:age, sex, bmi, bp, s1~s5

3. load_linnerud(体能测试)

20样本,3个生理指标预测3个体能结果

特色:多输出回归(MultiOutputRegressor)
变量:Chins, Situps, Jumps → Weight, Waist, Pulse

1. fetch_california_housing

20640样本,8特征预测加州房价中位数

特点:真实数据、规模适中
变量:MedInc, HouseAge, AveRooms, AveBedrms...

2. fetch_20newsgroups_vectorized

文本特征降维后用于回归任务

用途:高维稀疏数据回归
提示:需先用TF-IDF降维

1. UCI Machine Learning Repository

经典数据集:Concrete Compressive Strength, Airfoil Self-Noise

链接:https://archive.ics.uci.edu/ml/datasets.php
筛选:选择“Regression”类型

2. Kaggle Datasets

竞赛级数据:House Prices, Bike Sharing Demand

优势:真实业务场景、完整EDA
建议:从“Getting Started”竞赛入手

总结与行动建议

线性回归虽基础,却是机器学习的基石。掌握其原理-代码-诊断-部署全流程,是进阶深度学习、集成模型的前提。

新手三步走:

  1. 练基础:用sklearn完成Boston/糖尿病数据集全流程建模
  2. 深理解:手写OLS公式实现,推导β̂的方差表达式
  3. 拓视野:对比Ridge/Lasso/ElasticNet在糖尿病数据上的表现

记住:模型效果70%取决于数据质量,20%取决于特征工程,仅10%取决于算法选择。