在Python数据分析生态中,df是pandas库中DataFrame对象的常用简称。它并非Python内置类型,而是第三方库pandas提供的核心数据结构之一,用于表示二维、大小可变、具有行列标签的表格型数据结构——类似于Excel表格、SQL表或R语言中的data.frame。
DataFrame的设计目标是为结构化数据提供高效、灵活、易用的分析接口,支持缺失值处理、时间序列操作、分组聚合、数据对齐、文件读写等关键功能,是Python成为主流数据分析语言的关键基石之一。
需要特别注意的是:df只是变量命名习惯(如df = pd.DataFrame(...)),并非关键字或类名。官方文档中通常使用DataFrame全称,但开发者社区普遍接受df作为约定俗成的缩写。
从数据结构本质看,DataFrame可视为由多个等长、同索引的Series对象按列组合而成的二维容器。每一列是一个独立的Series,拥有自己的数据类型(dtype),而整张表共享统一的行索引(index)。
其底层实现基于NumPy数组,通过Cython优化提升性能,支持向量化运算,避免了Python原生循环的开销,使得数百万行数据的处理也能在秒级完成。
创建DataFrame的方法多样,主要取决于数据来源和结构。以下是六种常见方式,均经过实际验证:
字典的键作为列名,值(必须是等长序列)作为列数据:
import pandas as pd
data = {
'姓名': ['张三', '李四', '王五'],
'年龄': [23, 31, 29],
'城市': ['北京', '上海', '广州']
}
df = pd.DataFrame(data)
print(df)
输出:
姓名 年龄 城市
0 张三 23 北京
1 李四 31 上海
2 王五 29 广州
支持缺失值填充:
df2 = pd.DataFrame(
{'A': [1, 2, None], 'B': [4.0, None, 6.0]},
index=['x', 'y', 'z']
)
rows = [
[101, '苹果', 3.2],
[102, '香蕉', 2.8],
[103, '橙子', 4.1]
]
df = pd.DataFrame(rows, columns=['ID', '水果', '单价'])
# 显式指定列名避免默认0,1,2
import numpy as np
arr = np.array([[1,2,3],[4,5,6]]).T # 转置使列对齐
df = pd.DataFrame(arr, columns=['X','Y','Z'])
df = pd.read_csv('sales.csv') # 自动推断分隔符
df = pd.read_excel('report.xlsx', sheet_name='Q1')
支持大量参数控制解析行为,如usecols(只读指定列)、nrows(限制行数)、na_values(定义缺失值标识)等。
records = [
{'id': 1, 'value': 100},
{'id': 2, 'value': 150},
{'id': 3, 'value': 120}
]
df = pd.DataFrame(records)
需显式转置并指定列名,否则易出错:
df = pd.DataFrame(
list(zip([1,2,3], ['A','B','C'], [10.5,20.0,15.2])),
columns=['idx','label','score']
)
DataFrame的索引系统分为两类:行索引(index)与列索引(columns),二者独立且可自定义,这是其区别于纯数组结构的核心特征。
默认行索引为RangeIndex(0, n),列索引为RangeIndex(0, m)。可通过set_index()或创建时指定:
df = pd.DataFrame(
{'name': ['Alice','Bob'], 'score': [85,92]},
index=['stu1','stu2'] # 自定义行索引
)
此时df.loc['stu1']可直接定位到第一行。
这是DataFrame最易混淆也最重要的区分:
.loc[row_indexer, col_indexer]:基于标签的索引,包含终点.iloc[row_indexer, col_indexer]:基于整数位置的索引,不包含终点# 选第1-2行、第1列(标签)
df.loc['stu1':'stu2', 'name']
# 选前2行、第1列(位置)
df.iloc[0:2, 0]
⚠️ 注意:若行索引为整数(如0,1,2),loc[0]与iloc[0]结果相同,但含义不同——前者是标签匹配,后者是位置定位。
支持布尔索引、切片、列表索引组合:
# 布尔索引选分数≥90的行
df[df['score'] >= 90]
# 多条件组合(注意用& | ~)
df[(df['score'] > 80) & (df['name'].str.startswith('A'))]
# 按列表选多列
df[['name', 'score']] # 返回DataFrame
df['name'] # 返回Series
筛选是数据分析的起点,DataFrame提供了多层级筛选能力:
支持字符串匹配、范围判断、逻辑组合:
# 字符串包含'京'
df[df['城市'].str.contains('京')]
# 数值范围
df[(df['年龄'] >= 25) & (df['年龄'] <= 30)]
# isin列表匹配
df[df['城市'].isin(['北京','上海'])]
# 空值检查
df[df['邮箱'].isna()]
⚠️ 注意:字符串匹配默认区分大小写,可用.str.lower()转换;in运算符不适用于DataFrame列,必须用.isin()。
# 前5行
df.head() # 默认5行,可指定n=10
# 后3行
df.tail(3)
# 位置切片(左闭右开)
df.iloc[2:5, 1:3] # 第2-4行、第1-2列
# 非连续位置
df.iloc[[0,2,4], [0,2]]
缺失值(NaN)在分析中需特殊处理:
# 检查每列缺失数
df.isna().sum()
# 删除含缺失的行
df.dropna()
# 填充缺失值
df.fillna({'年龄': df['年龄'].mean(), '邮箱': '未知'})
# 条件填充(如用前值填充)
df['价格'].fillna(method='ffill')
⚠️ 注意:fillna()不改变原DataFrame,需inplace=True或赋值回变量。
变换是将原始数据转化为分析所需格式的关键步骤,涵盖类型转换、文本处理、数值计算等。
确保数据类型正确是避免计算错误的前提:
# 转为数值(错误值设为NaN)
df['收入'] = pd.to_numeric(df['收入'], errors='coerce')
# 转为分类类型(节省内存)
df['城市'] = df['城市'].astype('category')
# 转为日期
df['日期'] = pd.to_datetime(df['日期'], format='%Y/%m/%d')
分类类型(category)特别适合低基数(unique值少)的字符串列,内存占用可降70%以上。
通过.str访问器提供类Python字符串方法:
# 提取前缀
df['区号'] = df['电话'].str[:3]
# 分割列
df[['姓','名']] = df['姓名'].str.split(' ', expand=True)
# 替换
df['邮箱'] = df['邮箱'].str.replace('@old.com', '@new.com')
# 大小写转换
df['姓名'] = df['姓名'].str.title()
支持向量化运算与自定义函数:
# 向量化计算
df['总分'] = df['语文'] + df['数学'] + df['英语']
# 自定义函数
def age_group(age):
if age < 25: return '青年'
elif age < 35: return '中年'
else: return '资深'
df['年龄段'] = df['年龄'].apply(age_group)
# 更高效:使用cut分箱
df['年龄段'] = pd.cut(df['年龄'], bins=[0,24,34,100],
labels=['青年','中年','资深'])
⚠️ 注意:.apply()本质仍是循环,大数据集下pd.cut()、np.where()等向量化方法更高效。
# 直接赋值新增
df['备注'] = '已审核'
# 条件赋值(np.where)
import numpy as np
df['等级'] = np.where(df['分数'] >= 90, '优',
np.where(df['分数'] >= 80, '良', '需改进'))
# insert指定位置插入
df.insert(1, '新列', [1,2,3]) # 插到第1列后
聚合是数据分析的核心,通过groupby实现按维度拆分-应用-合并的完整流程。
# 按城市分组,计算平均年龄
df.groupby('城市')['年龄'].mean()
# 多聚合函数
df.groupby('城市').agg({
'年龄': ['mean','min','max'],
'收入': 'sum'
})
# 重命名聚合列
df.groupby('城市').agg(
avg_age=('年龄', 'mean'),
total_income=('收入', 'sum')
)
# 计算收入区间(极差)
def range_val(x):
return x.max() - x.min()
df.groupby('城市')['收入'].agg(range_val)
# 使用agg传递多个函数名
df.groupby('城市')['收入'].agg(['mean','std','range_val'])
类似Excel数据透视表,快速生成交叉统计:
pd.pivot_table(
df,
values='收入',
index='城市',
columns='性别',
aggfunc='mean',
fill_value=0
)
输出为二维表,便于直接可视化。
# 7日移动平均
df['收入_7日均'] = df['收入'].rolling(7).mean()
# 累计求和
df['收入_累计'] = df['收入'].cumsum()
# 自定义窗口(如按日期分组后滚动)
df.set_index('日期').groupby('类别')['销量'].rolling('7D').sum()
实际分析中常需整合多源数据,merge和concat是两大核心工具。
支持四种连接方式:
inner:交集(默认)left:左表全保留right:右表全保留outer:并集(填充NaN)pd.merge(df1, df2, on='ID', how='inner')
pd.merge(df1, df2, left_on='user_id', right_on='id', how='left')
⚠️ 注意:重复列名会自动加后缀(_x,_y),需提前处理。
沿轴拼接,类似SQL的UNION ALL:
# 纵向堆叠(行数相加)
pd.concat([df1, df2], ignore_index=True)
# 横向堆叠(列数相加)
pd.concat([df1, df2], axis=1)
⚠️ 注意:ignore_index=True可重置索引,避免重复。
当DataFrame超过10万行,合理优化可提升10倍以上性能:
del df['冗余列'])inplace=True避免复制# 内存优化示例
df['城市'] = df['城市'].astype('category')
df['用户ID'] = pd.to_numeric(df['用户ID'], downcast='integer')
避免.apply(),优先使用内置向量化方法:
# 低效:逐行计算
df['总价'] = df.apply(lambda r: r['单价'] * r['数量'], axis=1)
# 高效:向量化
df['总价'] = df['单价'] * df['数量']
chunks = pd.read_csv('big_data.csv', chunksize=100000)
result = []
for chunk in chunks:
# 分块处理
processed = chunk[chunk['分数'] > 80]
result.append(processed)
final_df = pd.concat(result)
错误示例:
df[df['分数'] > 80]['备注'] = '优秀' # 可能不生效!
正确写法:
df.loc[df['分数'] > 80, '备注'] = '优秀' # 显式定位
本质:中间结果可能是视图而非副本,直接赋值可能无效。
删除行后索引不连续,后续操作易出错:
df = df[df['分数'] > 60].reset_index(drop=True)
df2 = df # 引用,修改df2会改变df
df2 = df.copy() # 独立副本
混合类型列(如[1,'A',3])会降级为object,丧失数值计算优势:
# 检查类型
print(df.dtypes)
# 强制转换
df['金额'] = pd.to_numeric(df['金额'], errors='raise')
以下为完整分析流程,展示DataFrame在真实场景中的应用:
import pandas as pd
import matplotlib.pyplot as plt
# 1. 加载
df = pd.read_csv('orders.csv', parse_dates=['下单时间'])
# 2. 清洗
df['单价'] = pd.to_numeric(df['单价'].str.replace('元', ''), errors='coerce')
df['总金额'] = df['单价'] * df['数量']
# 3. 特征
df['星期'] = df['下单时间'].dt.day_name()
df['是否高价值'] = df['总金额'] > df['总金额'].quantile(0.9)
# 4. 分析
daily_sales = df.groupby(df['下单时间'].dt.date)['总金额'].sum()
category_share = df.groupby('商品')['总金额'].sum().sort_values(ascending=False)
# 5. 可视化
daily_sales.plot(kind='line', title='每日销售额趋势')
plt.show()