Python线性回归代码|从零入门到实战部署
完整代码示例|核心原理精讲|常见陷阱解析|真实数据建模|优化建议汇总|新手零基础友好
即刻运行
所有代码均经过Python 3.8+实测验证,复制即用,无需额外配置环境
原理透彻
从最小二乘法到梯度下降,讲清线性回归的数学本质
实战导向
基于Boston房价与糖尿病数据集的真实建模流程
诊断全面
涵盖多重共线性、异方差性、自相关性检测与修正
扩展丰富
延伸至岭回归、Lasso回归等正则化方法进阶应用
部署就绪
提供Flask API封装与PMML导出方案,支持生产环境落地
import numpy as np import pandas as pd from sklearn.linear_model import LinearRegression from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error, r2_score # 加载数据 boston = load_boston() X = pd.DataFrame(boston.data, columns=boston.feature_names) y = boston.target # 拆分训练/测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 建模与训练 model = LinearRegression() model.fit(X_train, y_train) # 预测 y_pred = model.predict(X_test) # 评估指标 mse = mean_squared_error(y_test, y_pred) rmse = np.sqrt(mse) r2 = r2_score(y_test, y_pred) print("RMSE: {:.4f}, R²: {:.4f}".format(rmse, r2)) print("模型系数:", model.coef_) print("截距项:", model.intercept_)
import numpy as np from sklearn.datasets import load_boston # 加载数据 boston = load_boston() X = boston.data y = boston.target # 添加偏置项(截距) X_b = np.c_[np.ones((X.shape[0], 1)), X] # 正规方程解:θ = (X'X)⁻¹X'y theta_best = np.linalg.inv(X_b.T @ X_b) @ X_b.T @ y # 预测 y_pred = X_b @ theta_best # 评估 mse = np.mean((y - y_pred) ** 2) rmse = np.sqrt(mse) ss_res = np.sum((y - y_pred) ** 2) ss_tot = np.sum((y - np.mean(y)) ** 2) r2 = 1 - (ss_res / ss_tot) print("RMSE: {:.4f}, R²: {:.4f}".format(rmse, r2)) print("参数向量(含截距):", theta_best)
import pandas as pd import statsmodels.api as sm from sklearn.datasets import load_boston boston = load_boston() X = pd.DataFrame(boston.data, columns=boston.feature_names) y = boston.target # 添加常数项 X = sm.add_constant(X) # 拟合模型 model = sm.OLS(y, X).fit() # 输出详细结果 print(model.summary())
import pandas as pd import statsmodels.formula.api as smf from sklearn.datasets import load_boston boston = load_boston() df = pd.DataFrame(boston.data, columns=boston.feature_names) df["target"] = boston.target # 公式语法建模 formula = 'target ~ CRIM + ZN + INDUS + CHAS + NOX + RM + AGE + DIS + RAD + TAX + PTRATIO + B + LSTAT' model = smf.ols(formula, data=df).fit() print(model.summary())
数学模型定义
线性回归旨在建立因变量y与一个或多个自变量X = (x₁, x₂, ..., xₚ)之间的线性关系:
其中:
- β₀:截距项(当所有x=0时y的期望值)
- β₁, ..., βₚ:偏回归系数,表示对应自变量每增加1单位,y的平均变化量
- ε:随机误差项,满足E(ε)=0且Var(ε)=σ²
关键点:线性性指对参数β线性,而非对自变量x线性(如y=β₀+β₁x+β₂x²仍属线性回归)。
五大经典假设(高斯-马尔可夫条件)
参数估计方法:最小二乘法(OLS)
目标:最小化残差平方和
解析解(正规方程):
几何意义:β̂ 是向量y在X列空间上的正交投影。
Python实现核心:sklearn的LinearRegression底层调用LAPACK的DGELSD(SVD分解),对病态矩阵更鲁棒。
模型诊断指标
| 指标 | 公式 | 解读 |
|---|---|---|
| R²(决定系数) | 1 − SSR/SST | 解释方差比例;0~1,越接近1拟合越好;但易随变量增加而虚高 |
| 调整R² | 1 − (1−R²)(n−1)/(n−p−1) | 惩罚变量数,避免过拟合;可负值 |
| F检验 | [(SSRR−SSRU)/q] / [SSRU/(n−p−1)] | 联合显著性:H₀: β₁=...=βₚ=0;p<0.05拒绝原假设 |
| t检验 | β̂ⱼ / SE(β̂ⱼ) | 单个系数显著性;|t|>2通常认为显著(p<0.05) |
| 残差标准误(S) | √[Σeᵢ²/(n−p−1)] | 预测值与真实值的平均偏差;单位与y一致 |
糖尿病数据集完整建模脚本
数据说明:10个基线特征(年龄、性别、BMI、血清指标等)预测一年后疾病进展定量指标
import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from sklearn.datasets import load_diabetes from sklearn.linear_model import LinearRegression from sklearn.model_selection import cross_val_score from sklearn.metrics import mean_squared_error, r2_score from scipy import stats # 1. 加载数据 diabetes = load_diabetes() X = pd.DataFrame(diabetes.data, columns=diabetes.feature_names) y = diabetes.target # 2. 探索性分析 print("数据维度:", X.shape) print("y分布偏度:", y.skew()) # 热力图查看相关性 plt.figure(figsize=(10, 8)) corr = pd.concat([X, pd.Series(y, name="target")], axis=1).corr() sns.heatmap(corr, annot=True, fmt=".2f", cmap="coolwarm", center=0) plt.title("特征相关性热力图") plt.show() # 3. 拆分数据 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=123) # 4. 建模 model = LinearRegression() model.fit(X_train, y_train) # 5. 评估 y_train_pred = model.predict(X_train) y_test_pred = model.predict(X_test) print("训练集 RMSE: {:.2f}, R²: {:.4f}".format(np.sqrt(mean_squared_error(y_train, y_train_pred)), r2_score(y_train, y_train_pred))) print("测试集 RMSE: {:.2f}, R²: {:.4f}".format(np.sqrt(mean_squared_error(y_test, y_test_pred)), r2_score(y_test, y_test_pred))) # 6. 交叉验证 cv_scores = cross_val_score(model, X, y, cv=5, scoring='neg_mean_squared_error') cv_rmse = np.sqrt(-cv_scores) print("5折CV RMSE均值: {:.2f} ± {:.2f}".format(cv_rmse.mean(), cv_rmse.std())) # 7. 残差诊断 residuals = y_test - y_test_pred plt.figure(figsize=(12, 4)) plt.subplot(1,2,1) plt.scatter(y_test_pred, residuals) plt.axhline(y=0, color='r', linestyle='--') plt.xlabel('预测值') plt.ylabel('残差') plt.title('残差图:检查异方差性') plt.subplot(1,2,2) stats.probplot(residuals, dist="norm", plot=plt) plt.title('Q-Q图:检查正态性') plt.tight_layout() plt.show() # 8. 系数解读 coef_df = pd.DataFrame({ '特征': X.columns, '系数': model.coef_, '|系数|': np.abs(model.coef_) }).sort_values('|系数|', ascending=False) print("特征重要性排序(绝对系数值):") print(coef_df)
关键可视化解读
残差图:若点随机分布在0线附近→满足线性与同方差;若呈漏斗形→异方差;若呈曲线→非线性关系
Q-Q图:点沿对角线分布→残差近似正态;S形偏离→尾部过厚;反S形→尾部过薄
偏残差图(部分回归图):可检查单变量线性假设是否成立
杠杆值与Cook距离图:识别高杠杆点与强影响点(Cook距离 > 1需重点关注)
对新样本预测与置信区间
# 构造新样本(BMI=25.5, 血糖=100, 其他取中位数) new_data = X.median().to_dict() new_data['bmi'] = 25.5 new_data['s5'] = 100 # 血清指标5 new_X = pd.DataFrame([new_data]) # 点预测 pred = model.predict(new_X)[0] print("预测疾病进展值:{:.2f}".format(pred)) # 95%预测区间(近似) residuals_std = np.sqrt(np.mean(residuals ** 2)) # 标准误差(近似) se_pred = residuals_std * np.sqrt(1 + new_X @ np.linalg.inv(X_train.T @ X_train) @ new_X.T) ci_lower = pred - 1.96 * se_pred ci_upper = pred + 1.96 * se_pred print("95%预测区间:[{:.2f}, {:.2f}]".format(ci_lower[0][0], ci_upper[0][0]))
A:核心区别在于因变量类型与函数形式:
- 线性回归:因变量y为连续数值型,模型为y = Xβ + ε;误差服从正态分布
- 逻辑回归:因变量y为二分类(0/1),模型为P(y=1) = 1/(1+e−Xβ);误差服从二项分布
常见误区:逻辑回归虽名“回归”,实为分类算法;线性回归不能直接用于分类(因预测值可能超出[0,1])。
A:这通常表明存在过拟合或数据泄露:
- 训练集R²高 + 测试集R²低 → 模型过度拟合训练数据
- 所有指标都高但实际预测不准 → 数据预处理时未来信息泄露(如用全量数据标准化)
- 高R²但系数符号与常识相反 → 多重共线性干扰
解决方案:交叉验证、正则化、检查数据预处理流程、VIF诊断共线性。
A:经验法则(Green, 1991):
- 最小样本量:n ≥ 50 + 8m(m为自变量个数)
- 稳健估计:n ≥ 104 + m(Tabachnick & Fidell, 2007)
实际中:m=5时至少需190样本;若存在共线性或异方差,需更大样本量。
Python检验:用statsmodels的diagnostic工具查看条件数(condition number > 1000可能不稳健)。
A:需转换为哑变量(Dummy Variables):
- K类分类变量 → 生成K−1个哑变量(避免完全共线性)
- sklearn中用OneHotEncoder或pandas.get_dummies
import pandas as pd df = pd.DataFrame({'y': [1,2,3], 'x': ['A','B','A']}) X = pd.get_dummies(df[['x']], drop_first=True) # drop_first=True避免虚拟变量陷阱
A:对OLS估计无影响,但影响:
- 系数可比性:标准化后系数可直接比较重要性
- 数值稳定性:极端尺度变量可能导致数值误差
- 正则化模型:Ridge/Lasso必须标准化,否则惩罚不均衡
建议:仅用sklearn的StandardScaler(fit on train, transform both)。
A:三种主流方法:
| 方法 | 原理 | Python实现 |
|---|---|---|
| 向前选择 | 每次加入p值最小的变量,直至无显著变量 | statsmodels的stepwise |
| 向后剔除 | 从全模型开始,每次剔除p值最大的变量 | 手动循环:model.pvalues.idxmax() |
| Lasso正则化 | L1惩罚使部分系数收缩为0 | sklearn.linear_model.LassoCV |
A:三步策略:
- 数据变换:对y取对数/平方根(缓解偏态)
- 稳健标准误:用statsmodels.RLM(Huber-White估计)
- 非参数方法:Bootstrap置信区间
# 稳健线性模型 import statsmodels.api as sm model_robust = sm.RLM(y, X, M=sm.robust.norms.HuberT()).fit()
A:极度谨慎!线性模型仅在观测数据范围内可靠:
- 外推预测:若x₀超出训练范围,预测值可能严重偏离
- 案例:用身高160-180cm数据建模,预测190cm身高体重会高估
建议:用预测区间而非点预测;外推时明确标注风险。
A:交互项表示调节效应:
模型:y = β₀ + β₁x₁ + β₂x₂ + β₃(x₁×x₂) + ε
β₃显著 → x₁对y的影响依赖于x₂的水平
Python实现:
# 手动交互项 X['x1_x2'] = X['x1'] * X['x2'] # 或公式语法 formula = 'y ~ x1 * x2' # 等价于 y ~ x1 + x2 + x1:x2
A:推荐三步流程:
- 保存模型:joblib.dump(model, 'linreg.pkl')
- API封装:Flask/FastAPI返回JSON预测结果
- 监控:实时记录预测与真实值,定期重训
生产级注意:特征工程一致性、输入校验、异常处理、版本管理。
1. load_boston(波士顿房价)
1978年波士顿郊区房价数据,506样本,13特征(CRIM, ZN, INDUS...)
2. load_diabetes(糖尿病)
442样本,10个基线特征预测疾病进展
3. load_linnerud(体能测试)
20样本,3个生理指标预测3个体能结果
1. fetch_california_housing
20640样本,8特征预测加州房价中位数
2. fetch_20newsgroups_vectorized
文本特征降维后用于回归任务
1. UCI Machine Learning Repository
经典数据集:Concrete Compressive Strength, Airfoil Self-Noise
2. Kaggle Datasets
竞赛级数据:House Prices, Bike Sharing Demand
总结与行动建议
线性回归虽基础,却是机器学习的基石。掌握其原理-代码-诊断-部署全流程,是进阶深度学习、集成模型的前提。
新手三步走:
- 练基础:用sklearn完成Boston/糖尿病数据集全流程建模
- 深理解:手写OLS公式实现,推导β̂的方差表达式
- 拓视野:对比Ridge/Lasso/ElasticNet在糖尿病数据上的表现
记住:模型效果70%取决于数据质量,20%取决于特征工程,仅10%取决于算法选择。