🏠 首页概览:构建系统化统计分析能力体系
在当前数据驱动的时代,Python统计分析代码已成为科研、金融、互联网、医疗、教育等众多领域不可或缺的技术支撑。本平台致力于提供一套完整、严谨、可复现的统计分析工作流,涵盖从原始数据清洗、探索性分析、统计推断到建模预测的全流程。
不同于碎片化教程,我们以工程化思维组织内容:每个模块均提供可直接运行的代码、清晰的逻辑注释、结果解读框架及常见陷阱警示。所有示例均基于真实数据集(如:美国人口普查数据、鸢尾花数据、泰坦尼克号生存记录、空气质量监测日志),确保实践价值。
平台内容严格遵循统计学原理,兼顾Python生态的最新发展(如:pandas 2.x、statsmodels 0.14、scipy 1.11),避免过时API带来的兼容性问题。无论是初学者建立基础认知,还是资深分析师提升效率,均可在此获得系统性知识输入。
特别说明:我们不推荐“黑箱式”调包操作。每段代码均配套统计理论解释——例如,为何选择Shapiro-Wilk检验而非Kolmogorov-Smirnov检验进行正态性检验?为何在面板数据中需使用固定效应而非混合OLS?这些深层逻辑是构建可迁移分析能力的关键。
当前收录内容已覆盖:
- 描述性统计:集中趋势、离散程度、分布形态、相关关系的全面计算
- 推断统计:单样本/双样本t检验、方差分析、卡方检验、非参数检验
- 回归建模:线性回归、逻辑回归、岭回归、LASSO、泊松回归
- 时间序列:平稳性检验、ARIMA建模、季节分解、GARCH波动率建模
- 机器学习集成:随机森林特征重要性、XGBoost回归解释、SHAP值分析
所有内容均经过多版本Python环境(3.8~3.12)与主流库版本组合验证,确保代码可复现性。欢迎结合自身需求,选择对应章节深入实践。
🔧 核心工具库全景解析:从基础到专业
Python统计分析依赖于庞大而协作的生态系统。本节系统梳理各核心库的功能定位、适用场景与版本适配策略,避免“工具堆砌”误区。
① pandas:结构化数据处理引擎
作为统计分析的入口层,pandas提供DataFrame与Series两种核心数据结构,支持高效的数据读取、清洗、变换与合并操作。其优势在于:
- 支持多种格式:CSV、Excel、SQL数据库、HDF5、JSON、Parquet
- 时间序列处理:原生支持DatetimeIndex、PeriodIndex、TimedeltaIndex
- 缺失值处理:dropna()、fillna()、interpolate()提供多策略组合
- 分组聚合:groupby().agg()实现灵活的多维度统计汇总
示例:从CSV加载数据并计算各组均值
import pandas as pd
# 加载数据(假设为销售记录)
df = pd.read_csv("sales.csv", parse_dates=["date"])
# 按地区与产品分类,计算销售额均值与标准差
summary = df.groupby(["region", "product"]).agg(
sales_mean=("sales", "mean"),
sales_std=("sales", "std"),
count=("sales", "size")
).reset_index()
print(summary.head())
注意:pandas 2.0后弃用as_matrix(),改用to_numpy();groupby聚合时推荐使用命名聚合语法提升可读性。
② NumPy:数值计算底层支撑
NumPy提供ndarray对象及向量化运算,是scipy与pandas的性能基石。统计分析中高频使用场景包括:
- 数组广播与切片:实现高效矩阵运算
- 随机数生成:np.random.normal()、np.random.poisson()用于模拟
- 线性代数:np.linalg.inv()、np.linalg.eig()支持矩阵分解
例如,生成10000个服从正态分布N(0,1)的随机样本并绘制直方图:
import numpy as np
import matplotlib.pyplot as plt
np.random.seed(42)
samples = np.random.normal(loc=0, scale=1, size=10000)
plt.hist(samples, bins=50, density=True, alpha=0.6, color='b')
plt.title("标准正态分布模拟(n=10000)")
plt.show()
③ SciPy:统计分析算法库
scipy.stats模块提供200+种概率分布与统计检验方法,是假设检验的核心工具:
- 分布对象:norm、t、chi2、f等分布提供pdf、cdf、ppf等方法
- 检验函数:ttest_ind()、chi2_contingency()、mannwhitneyu()
- 相关性计算:pearsonr()、spearmanr()、kendalltau()
关键技巧:使用rvs()生成随机样本,使用fit()进行参数估计:
from scipy import stats
# 生成100个伽马分布样本(α=2, θ=3)
data = stats.gamma.rvs(a=2, scale=3, size=100)
# 拟合参数(返回形状、位置、尺度)
params = stats.gamma.fit(data)
print(f"拟合参数:α={params[0]:.3f}, θ={params[2]:.3f}")
④ Statsmodels:经典统计建模库
statsmodels专注于传统统计方法,提供模型结果的详细诊断信息:
- 线性模型:OLS、GLS、WLS、Logit、Probit
- 时间序列:ARIMA、VAR、GARCH
- 方差分析:anova_lm()支持单因素/多因素ANOVA
优势:内置诊断报告(summary()输出包含系数估计、标准误、t值、p值、R²、调整R²、残差检验等)
import statsmodels.api as sm
import pandas as pd
# 加载内置数据集
df = sm.datasets.longley.load_pandas().data
# 构建模型:GNP = β0 + β1*Employed + β2*Population + β3*Year + ε
X = df[["Employed", "Population", "Year"]]
X = sm.add_constant(X) # 添加截距项
y = df["GNP"]
model = sm.OLS(y, X).fit()
print(model.summary())
输出中重点关注:p>|t|列(判断系数显著性)、Prob(Omnibus)(正态性检验)、Durbin-Watson(残差自相关检验)。
⑤ Matplotlib & Seaborn:可视化双引擎
Matplotlib提供底层绘图接口,Seaborn构建在之上,提供统计图表的高级封装:
- 分布图:histplot()、kdeplot()、boxplot()
- 关系图:scatterplot()、regplot()、pairplot()
- 分类图:barplot()、violinplot()、swarmplot()
推荐组合:先用Seaborn快速探索,再用Matplotlib精细调整。
📊 数据准备:统计分析的基石环节
数据质量决定分析结论可靠性。本节聚焦常见数据问题与解决方案,强调“清洗即建模”的理念。
① 缺失值处理策略矩阵
缺失机制分类(Rubin, 1976):
| 缺失类型 | 定义 | 处理方法 | 风险 |
|---|---|---|---|
| MCAR(完全随机缺失) | 缺失与任何观测值无关 | 删除法(列表删除/成对删除) | 样本量减少,方差增大 |
| MAR(条件随机缺失) | 缺失仅依赖于已观测变量 | 多重插补(MICE)、均值/中位数插补 | 若条件设定错误,导致偏差 |
| NMAR(非完全随机缺失) | 缺失依赖于未观测变量 | 选择模型、敏感性分析 | 常规方法失效,需领域知识 |
示例:使用pandas进行多重插补(MICE)
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer
import pandas as pd
# 加载含缺失数据
df = pd.read_csv("survey.csv")
# 选择数值型变量进行插补
num_cols = df.select_dtypes(include=["float64", "int64"]).columns
imp = IterativeImputer(max_iter=10, random_state=42)
df_imputed = pd.DataFrame(
imp.fit_transform(df[num_cols]),
columns=num_cols
)
注意:插补后需验证分布是否合理——对比插补前后直方图、箱线图。
② 异常值识别与处理
常用检测方法:
- Z-Score:适用于近似正态分布,|z|>3视为异常
- IQR:适用于偏态分布,Q1-1.5IQR < x < Q3+1.5IQR
- LOF(局部异常因子):适用于高维数据
示例:使用IQR法识别异常值
def detect_outliers_iqr(series, k=1.5):
q1 = series.quantile(0.25)
q3 = series.quantile(0.75)
iqr = q3 - q1
lower = q1 - k * iqr
upper = q3 + k * iqr
return series[(series < lower) | (series > upper)]
# 应用到收入列
outliers = detect_outliers_iqr(df["income"])
print(f"检测到{len(outliers)}个异常值(占比{len(outliers)/len(df)*100:.2f}%)")
处理原则:先分析原因(数据录入错误?真实极端值?),再决定删除、修正或保留。
③ 数据变换:满足模型假设
常见变换场景:
- 对数变换:处理右偏分布(如收入、房价),使数据近似正态
- Box-Cox变换:自动选择最优λ参数,适用于正偏分布
- 标准化(Z-score):使特征均值为0、标准差为1,便于比较量纲
- 归一化(Min-Max):缩放到[0,1]区间,适用于神经网络输入
Box-Cox变换示例:
from scipy import stats
# 对收入进行Box-Cox变换
df["income_boxcox"], lam = stats.boxcox(df["income"] + 1) # +1避免log(0)
# 拟合优度检验
fig, ax = plt.subplots(1, 2, figsize=(10,4))
stats.probplot(df["income_boxcox"], dist="norm", plot=ax[0])
ax[0].set_title("Box-Cox变换后Q-Q图")
stats.probplot(df["income"], dist="norm", plot=ax[1])
ax[1].set_title("原始收入Q-Q图")
plt.show()
🔬 假设检验:从理论到代码实现
假设检验是统计推断的核心工具,用于判断样本证据是否支持特定假设。本节按问题类型组织检验方法。
① 单样本t检验:验证总体均值
场景:某电池厂商宣称平均寿命为500小时,随机抽取25节电池测得均值490小时,标准差20小时。在α=0.05下检验是否达标。
H₀: μ = 500 vs H₁: μ ≠ 500
from scipy import stats
import numpy as np
# 样本数据
sample_mean = 490
sample_std = 20
n = 25
mu0 = 500
# 计算t统计量
t_stat = (sample_mean - mu0) / (sample_std / np.sqrt(n))
p_val = 2 * stats.t.sf(np.abs(t_stat), df=n-1)
print(f"t统计量:{t_stat:.3f},p值:{p_val:.4f}")
# 输出:t统计量:-2.500,p值:0.0195
结论:p=0.0195 < 0.05,拒绝H₀,认为平均寿命显著低于500小时。
② 独立样本t检验:比较两组均值
场景:比较A/B两种教学方法的学生成绩差异。方法A(n=30, 均值85, 标准差8);方法B(n=28, 均值78, 标准差10)。
先进行方差齐性检验(F检验):
# 方差齐性检验
f_stat = (8**2) / (10**2) # s1²/s2²
p_f = 1 - stats.f.cdf(f_stat, 29, 27)
print(f"F统计量:{f_stat:.3f},p值:{p_f:.4f}") # p=0.217 > 0.05,方差齐性成立
# 使用方差齐性假设的t检验
t_stat, p_val = stats.ttest_ind(
np.random.normal(85, 8, 30), # 模拟数据
np.random.normal(78, 10, 28),
equal_var=True
)
print(f"t={t_stat:.3f}, p={p_val:.4f}")
注意:若方差不齐,改用Welch检验(equal_var=False)。
③ 配对样本t检验:同一对象前后比较
场景:12名学生参加培训前后测试成绩:
before = [72, 68, 85, 70, 78, 65, 80, 75, 69, 74, 71, 77]
after = [78, 73, 88, 76, 82, 70, 85, 79, 74, 79, 76, 81]
t_stat, p_val = stats.ttest_rel(after, before)
print(f"t={t_stat:.3f}, p={p_val:.4f}") # p=0.002 < 0.01,培训显著提升成绩
④ 卡方检验:分类变量关联性
场景:检验性别与是否购买产品的关联性(列联表):
| 性别 | 购买 | 未购买 | 合计 |
|---|---|---|---|
| 男 | 45 | 35 | 80 |
| 女 | 30 | 50 | 80 |
| 合计 | 75 | 85 | 160 |
from scipy.stats import chi2_contingency
table = [[45, 35], [30, 50]]
chi2, p, dof, expected = chi2_contingency(table)
print(f"χ²={chi2:.3f}, p={p:.4f}, 自由度={dof}")
# 输出:χ²=7.815, p=0.0052
结论:p=0.0052 < 0.01,拒绝独立性假设,性别与购买行为显著相关。
⑤ 非参数检验:摆脱正态性假设
当数据不满足参数检验前提时:
- Mann-Whitney U检验:替代独立样本t检验(两独立样本)
- Wilcoxon符号秩检验:替代配对t检验
- Kruskal-Wallis检验:替代单因素ANOVA(多独立样本)
示例:比较两种药物缓解时间(非正态分布):
drug_A = [1.2, 2.5, 1.8, 3.0, 2.2, 1.5, 2.8, 1.9]
drug_B = [2.0, 3.5, 2.7, 4.1, 3.2, 2.4, 3.8, 2.9]
u_stat, p_val = stats.mannwhitneyu(drug_A, drug_B, alternative="two-sided")
print(f"U={u_stat:.0f}, p={p_val:.4f}") # p=0.012 < 0.05,差异显著
📈 回归建模:从线性到广义线性模型
回归分析用于探究变量间依赖关系,本节覆盖主流回归模型。
① 线性回归:最小二乘估计
模型:Y = β₀ + β₁X₁ + β₂X₂ + ... + ε
核心假设:
- 线性性(因变量与自变量线性相关)
- 独立性(残差相互独立)
- 正态性(残差服从正态分布)
- 方差齐性(残差方差恒定)
诊断图:
import statsmodels.api as sm
import matplotlib.pyplot as plt
# 拟合模型
X = df[["age", "income"]]
X = sm.add_constant(X)
y = df["spending"]
model = sm.OLS(y, X).fit()
# 残差诊断图
fig, ax = plt.subplots(2, 2, figsize=(10,8))
sm.graphics.plot_regress_exog(model, "income", fig=fig)
plt.show()
关键输出解读:
- coef:回归系数(income每增加1单位,spending平均增加β₁单位)
- std err:标准误(系数估计的不确定性)
- t:t统计量 = coef / std err
- P>|t|:p值(<0.05视为显著)
- R-squared:决定系数(解释方差比例)
- Prob(Omnibus):正态性检验p值(>0.05接受正态)
- Durbin-Watson:自相关检验(接近2表示无自相关)
② 逻辑回归:二分类预测
模型:logit(P) = ln[P/(1-P)] = β₀ + β₁X₁ + ...
适用场景:预测客户流失、疾病诊断、点击率预测。
示例:预测泰坦尼克号乘客生存概率
import statsmodels.formula.api as smf
# 加载数据
titanic = sm.datasets.titanic.load_pandas().data
# 拟合模型:survived ~ age + sex + class + fare
model = smf.logit("survived ~ age + C(sex) + C(class) + fare", data=titanic).fit()
print(model.summary())
系数解释:sex[T.male] = -2.53,意味着男性相比女性,生存比值(odds)降低exp(-2.53)≈8%。
③ 正则化回归:防止过拟合
岭回归(Ridge)与LASSO通过惩罚项限制系数大小:
- Ridge:L2惩罚,系数收缩但不为零,适合多重共线性
- LASSO:L1惩罚,可产生稀疏解(部分系数归零),用于特征选择
示例:使用sklearn实现LASSO特征选择
from sklearn.linear_model import LassoCV
from sklearn.preprocessing import StandardScaler
# 标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
y = df["target"]
# 交叉验证选择最优α
lasso = LassoCV(cv=5).fit(X_scaled, y)
# 查看非零系数特征
feature_names = X.columns
selected = feature_names[lasso.coef_ != 0]
print(f"选中特征:{list(selected)}")
④ 泊松回归:计数型数据建模
模型:ln(μ) = β₀ + β₁X₁ + ...,其中μ为事件发生率
适用场景:每小时网站访问量、医院每日急诊人数、飞机故障次数。
过离散检验:若残差/deviance > 1.5,改用负二项回归。
⏱️ 时间序列分析:捕捉动态变化规律
时间序列需满足平稳性(均值、方差、自协方差不随时间变化),否则需差分或变换。
① 平稳性检验
ADF检验(Augmented Dickey-Fuller):
from statsmodels.tsa.stattools import adfuller
result = adfuller(df["sales"])
print(f"ADF统计量:{result[0]:.3f},p值:{result[1]:.4f}")
# p<0.05 → 序列平稳;p≥0.05 → 需差分
② ARIMA建模流程
步骤:
- 差分使序列平稳(d=1或2)
- 通过ACF/PACF图确定p,q
- 拟合ARIMA(p,d,q)模型
- 诊断残差白噪声性(Ljung-Box检验)
- 滚动预测评估
示例:AirPassengers数据建模
from statsmodels.tsa.arima.model import ARIMA
# 拟合ARIMA(1,1,1)
model = ARIMA(df["passengers"], order=(1,1,1)).fit()
# 预测未来12期
forecast = model.get_forecast(steps=12)
pred_mean = forecast.predicted_mean
pred_ci = forecast.conf_int()
# 绘图
ax = df["passengers"].plot(label="实际值", figsize=(12,6))
pred_mean.plot(ax=ax, label="预测值", color="red")
ax.fill_between(pred_ci.index,
pred_ci.iloc[:,0], pred_ci.iloc[:,1],
color="pink", alpha=0.3)
plt.legend()
plt.show()
③ 季节性分解
STL分解(Seasonal-Trend decomposition using Loess):
from statsmodels.tsa.seasonal import STL
stl = STL(df["temperature"], period=12, robust=True)
result = stl.fit()
# 绘制趋势、季节、剩余分量
fig = result.plot()
plt.show()
优势:对异常值鲁棒,可处理任意季节性模式。
④ GARCH波动率建模
适用于金融时间序列的波动聚集现象:
from arch import arch_model
# 拟合GARCH(1,1)模型
am = arch_model(df["return"], p=1, q=1)
res = am.fit(disp="off")
# 预测未来10日波动率
forecasts = res.forecast(horizon=10)
vol_forecast = forecasts.variance.iloc[-1].values
🎨 数据可视化:让数据自己说话
可视化是探索性分析与结果呈现的关键环节。本节强调“选择合适图表类型”的原则。
① 分布可视化
| 场景 | 图表类型 | 关键参数 |
|---|---|---|
| 单变量分布 | 直方图 + KDE | bins, kde=True |
| 多组分布对比 | 箱线图 / 小提琴图 | hue, dodge |
| 双变量关系 | 散点图 + 回归线 | regplot, scatter_kws |
示例:多变量分布矩阵(Pair Plot)
import seaborn as sns
sns.pairplot(df[["age", "income", "spending", "score"]],
diag_kind="kde",
corner=True,
plot_kws={"alpha":0.6})
plt.show()
② 时间序列可视化
高级技巧:添加滚动均值、置信区间、事件标记
import matplotlib.dates as mdates
# 计算7日滚动均值
df["ma7"] = df["sales"].rolling(7).mean()
# 绘图
fig, ax = plt.subplots(figsize=(12,5))
ax.plot(df["date"], df["sales"], alpha=0.4, label="日销售额")
ax.plot(df["date"], df["ma7"], color="red", linewidth=2, label="7日移动平均")
# 标记促销事件
event_dates = ["2023-06-15", "2023-08-20"]
for date in event_dates:
ax.axvline(pd.to_datetime(date), color="orange", linestyle="--", alpha=0.7)
ax.text(pd.to_datetime(date), df["sales"].max()*0.9, "促销",
rotation=90, va="bottom", ha="right")
ax.xaxis.set_major_formatter(mdates.DateFormatter("%Y-%m"))
ax.legend()
plt.show()
③ 热力图:相关性与矩阵数据
示例:变量相关性热力图
import numpy as np
# 计算相关矩阵
corr = df[["age", "income", "spending", "score"]].corr()
# 掩盖上三角(避免冗余)
mask = np.triu(np.ones_like(corr, dtype=bool))
# 绘图
plt.figure(figsize=(8,6))
sns.heatmap(corr, mask=mask, annot=True, cmap="coolwarm",
center=0, square=True, fmt=".2f")
plt.title("变量相关性热力图")
plt.show()
💻 实战案例:全流程分析示例
案例:分析某电商用户行为数据,预测复购概率
① 问题定义
- 目标变量:是否复购(binary)
- 关键特征:首次购买时间、客单价、品类广度、退货率
- 业务目标:识别高价值用户,优化营销资源分配
② 数据清洗流程
# 1. 处理缺失值
df = df.dropna(subset=["revenue", "repeat_purchase"])
# 2. 异常值处理(IQR法)
for col in ["order_value", "category_diversity"]:
Q1 = df[col].quantile(0.25)
Q3 = df[col].quantile(0.75)
IQR = Q3 - Q1
df = df[(df[col] >= Q1 - 1.5*IQR) & (df[col] <= Q3 + 1.5*IQR)]
# 3. 特征工程
df["log_revenue"] = np.log1p(df["revenue"])
df["repurchase_rate"] = df["repeat_purchase"] / df["total_orders"]
③ 模型训练与评估
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score, confusion_matrix
# 特征选择
features = ["log_revenue", "category_diversity", "repurchase_rate", "return_rate"]
X = df[features]
y = df["repeat_purchase"]
# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, stratify=y)
# 拟合模型
model = LogisticRegression(class_weight="balanced", random_state=42)
model.fit(X_train, y_train)
# 评估
y_pred_proba = model.predict_proba(X_test)[:,1]
auc = roc_auc_score(y_test, y_pred_proba)
print(f"AUC = {auc:.3f}") # 输出:AUC = 0.827
# 混淆矩阵
cm = confusion_matrix(y_test, (y_pred_proba > 0.5).astype(int))
print("混淆矩阵:\n", cm)
④ 业务解读
- log_revenue系数=1.82(p<0.001):收入每提高1倍,复购几率增加exp(1.82)≈6倍
- return_rate系数=-2.15(p=0.003):退货率每增加1单位,复购几率降低exp(-2.15)≈12%
- 模型AUC=0.827,说明区分能力良好
建议:对高收入、低退货用户实施VIP专属活动;对退货率高的用户加强质量反馈闭环。
❓ 网友们还关心:高频问题解答
本节精选高频搜索问题,提供精准解答与代码示例。
① p值≠原假设为真的概率!
p值是在H₀成立的前提下,出现当前样本或更极端结果的概率。常见误解:
- 错误:p=0.03 → H₀为假的概率是3%
- 正确:若H₀为真,观察到当前数据(或更极端)的概率是3%
示例:药物试验p=0.04,意味着“若药物无效,有4%概率出现当前疗效差异(或更大)”。不等于“药物有效的概率是96%”。
现代建议:结合效应量(effect size)与置信区间报告结果,避免“p值崇拜”。
② 统计显著 ≠ 实际重要!
大样本下微小差异也可能显著。例如:新药使血压降低1mmHg(p=0.001),但临床意义有限。
关键指标:
- 效应量:Cohen's d(均值差异标准化)、Cramer's V(卡方关联强度)
- 置信区间:95% CI = [0.5, 2.3] 比点估计更丰富
计算Cohen's d示例:
def cohen_d(x, y):
nx, ny = len(x), len(y)
pooled_std = np.sqrt(((nx-1)*np.std(x, ddof=1)**2 + (ny-1)*np.std(y, ddof=1)**2) / (nx+ny-2))
return (np.mean(x) - np.mean(y)) / pooled_std
# 计算两组差异效应量
d = cohen_d(group_A, group_B)
print(f"Cohen's d = {d:.2f}") # 0.2=小, 0.5=中, 0.8=大
③ 多重比较校正
多次检验导致I类错误累积。例如:100次独立检验(α=0.05),预期有5次假阳性!
校正方法:
- Bonferroni:α_corrected = α / n(最严格)
- Benjamini-Hochberg:控制错误发现率(FDR),更常用
示例:BH校正p值
from statsmodels.stats.multitest import multipletests
p_values = [0.01, 0.03, 0.04, 0.06, 0.12]
reject, p_corrected, alphacSidak, alphacBonf = multipletests(
p_values, alpha=0.05, method='fdr_bh'
)
for i, (p, p_cor, r) in enumerate(zip(p_values, p_corrected, reject)):
print(f"检验{i+1}: p={p:.2f} → 校正后p={p_cor:.3f}, 显著={r}")
④ 如何规范报告结果
标准格式:
“我们进行了双尾独立样本t检验,比较A组(M=85.2, SD=7.3, n=42)与B组(M=78.6, SD=9.1, n=38)的得分差异。结果显著,t(78)=3.21, p=0.002, Cohen's d=0.72(中等效应)。”
要素:
- 检验类型 + 方向性(单/双尾)
- 样本量、均值、标准差
- 检验统计量值、自由度、p值
- 效应量及解释
避免:“p=0.000” → 应写为“p<0.001”;避免仅报告p值不报告效应量。
⑤ Python统计分析常见陷阱
- 数据窥探偏差:先看数据再选检验 → 改用预注册或交叉验证
- 忽略多重比较:未校正p值 → 导致假阳性泛滥
- 混淆相关与因果:冰淇淋销量与溺水事件正相关 → 温度为混杂变量
- 忽略缺失机制:简单删除MCAR数据 → 可能引入偏差