python df是什么意思

一、python df是什么意思

在Python数据分析生态中,df是pandas库中DataFrame对象的常用简称。它并非Python内置类型,而是第三方库pandas提供的核心数据结构之一,用于表示二维、大小可变、具有行列标签的表格型数据结构——类似于Excel表格、SQL表或R语言中的data.frame。

DataFrame的设计目标是为结构化数据提供高效、灵活、易用的分析接口,支持缺失值处理、时间序列操作、分组聚合、数据对齐、文件读写等关键功能,是Python成为主流数据分析语言的关键基石之一。

需要特别注意的是:df只是变量命名习惯(如df = pd.DataFrame(...)),并非关键字或类名。官方文档中通常使用DataFrame全称,但开发者社区普遍接受df作为约定俗成的缩写。

从数据结构本质看,DataFrame可视为由多个等长、同索引的Series对象按列组合而成的二维容器。每一列是一个独立的Series,拥有自己的数据类型(dtype),而整张表共享统一的行索引(index)。

其底层实现基于NumPy数组,通过Cython优化提升性能,支持向量化运算,避免了Python原生循环的开销,使得数百万行数据的处理也能在秒级完成。

二、DataFrame的创建方式

创建DataFrame的方法多样,主要取决于数据来源和结构。以下是六种常见方式,均经过实际验证:

① 由字典创建(最常用)

字典的键作为列名,值(必须是等长序列)作为列数据:

import pandas as pd
data = {
    '姓名': ['张三', '李四', '王五'],
    '年龄': [23, 31, 29],
    '城市': ['北京', '上海', '广州']
}
df = pd.DataFrame(data)
print(df)

输出:

  姓名  年龄  城市
0 张三  23  北京
1 李四  31  上海
2 王五  29  广州

支持缺失值填充:

df2 = pd.DataFrame(
    {'A': [1, 2, None], 'B': [4.0, None, 6.0]},
    index=['x', 'y', 'z']
)

② 由列表嵌套创建

rows = [
    [101, '苹果', 3.2],
    [102, '香蕉', 2.8],
    [103, '橙子', 4.1]
]
df = pd.DataFrame(rows, columns=['ID', '水果', '单价'])
# 显式指定列名避免默认0,1,2

③ 由NumPy数组创建

import numpy as np
arr = np.array([[1,2,3],[4,5,6]]).T  # 转置使列对齐
df = pd.DataFrame(arr, columns=['X','Y','Z'])

④ 由CSV/Excel文件读取

df = pd.read_csv('sales.csv')  # 自动推断分隔符
df = pd.read_excel('report.xlsx', sheet_name='Q1')

支持大量参数控制解析行为,如usecols(只读指定列)、nrows(限制行数)、na_values(定义缺失值标识)等。

⑤ 由字典列表(_records_)创建

records = [
    {'id': 1, 'value': 100},
    {'id': 2, 'value': 150},
    {'id': 3, 'value': 120}
]
df = pd.DataFrame(records)

⑥ 由元组创建(不推荐)

需显式转置并指定列名,否则易出错:

df = pd.DataFrame(
    list(zip([1,2,3], ['A','B','C'], [10.5,20.0,15.2])),
    columns=['idx','label','score']
)

三、行列索引机制详解

DataFrame的索引系统分为两类:行索引(index)与列索引(columns),二者独立且可自定义,这是其区别于纯数组结构的核心特征。

默认索引与自定义索引

默认行索引为RangeIndex(0, n),列索引为RangeIndex(0, m)。可通过set_index()或创建时指定:

df = pd.DataFrame(
    {'name': ['Alice','Bob'], 'score': [85,92]},
    index=['stu1','stu2']  # 自定义行索引
)

此时df.loc['stu1']可直接定位到第一行。

标签索引(.loc) vs 位置索引(.iloc)

这是DataFrame最易混淆也最重要的区分:

  • .loc[row_indexer, col_indexer]:基于标签的索引,包含终点
  • .iloc[row_indexer, col_indexer]:基于整数位置的索引,不包含终点
# 选第1-2行、第1列(标签)
df.loc['stu1':'stu2', 'name']
# 选前2行、第1列(位置)
df.iloc[0:2, 0]

⚠️ 注意:若行索引为整数(如0,1,2),loc[0]与iloc[0]结果相同,但含义不同——前者是标签匹配,后者是位置定位。

高级索引技巧

支持布尔索引、切片、列表索引组合:

# 布尔索引选分数≥90的行
df[df['score'] >= 90]
# 多条件组合(注意用& | ~)
df[(df['score'] > 80) & (df['name'].str.startswith('A'))]
# 按列表选多列
df[['name', 'score']]  # 返回DataFrame
df['name']             # 返回Series

四、数据筛选与提取

筛选是数据分析的起点,DataFrame提供了多层级筛选能力:

按条件筛选
按位置提取
按缺失值筛选

① 基于条件表达式

支持字符串匹配、范围判断、逻辑组合:

# 字符串包含'京'
df[df['城市'].str.contains('京')]
# 数值范围
df[(df['年龄'] >= 25) & (df['年龄'] <= 30)]
# isin列表匹配
df[df['城市'].isin(['北京','上海'])]
# 空值检查
df[df['邮箱'].isna()]

⚠️ 注意:字符串匹配默认区分大小写,可用.str.lower()转换;in运算符不适用于DataFrame列,必须用.isin()。

② 按行列位置提取

# 前5行
df.head()  # 默认5行,可指定n=10
# 后3行
df.tail(3)
# 位置切片(左闭右开)
df.iloc[2:5, 1:3]  # 第2-4行、第1-2列
# 非连续位置
df.iloc[[0,2,4], [0,2]]

③ 处理缺失值

缺失值(NaN)在分析中需特殊处理:

# 检查每列缺失数
df.isna().sum()
# 删除含缺失的行
df.dropna()
# 填充缺失值
df.fillna({'年龄': df['年龄'].mean(), '邮箱': '未知'})
# 条件填充(如用前值填充)
df['价格'].fillna(method='ffill')

⚠️ 注意:fillna()不改变原DataFrame,需inplace=True或赋值回变量。

五、数据变换与处理

变换是将原始数据转化为分析所需格式的关键步骤,涵盖类型转换、文本处理、数值计算等。

① 类型转换

确保数据类型正确是避免计算错误的前提:

# 转为数值(错误值设为NaN)
df['收入'] = pd.to_numeric(df['收入'], errors='coerce')
# 转为分类类型(节省内存)
df['城市'] = df['城市'].astype('category')
# 转为日期
df['日期'] = pd.to_datetime(df['日期'], format='%Y/%m/%d')

分类类型(category)特别适合低基数(unique值少)的字符串列,内存占用可降70%以上。

② 文本处理

通过.str访问器提供类Python字符串方法:

# 提取前缀
df['区号'] = df['电话'].str[:3]
# 分割列
df[['姓','名']] = df['姓名'].str.split(' ', expand=True)
# 替换
df['邮箱'] = df['邮箱'].str.replace('@old.com', '@new.com')
# 大小写转换
df['姓名'] = df['姓名'].str.title()

③ 数值计算

支持向量化运算与自定义函数:

# 向量化计算
df['总分'] = df['语文'] + df['数学'] + df['英语']
# 自定义函数
def age_group(age):
    if age < 25: return '青年'
    elif age < 35: return '中年'
    else: return '资深'
df['年龄段'] = df['年龄'].apply(age_group)
# 更高效:使用cut分箱
df['年龄段'] = pd.cut(df['年龄'], bins=[0,24,34,100],
                     labels=['青年','中年','资深'])

⚠️ 注意:.apply()本质仍是循环,大数据集下pd.cut()、np.where()等向量化方法更高效。

④ 新增/修改列

# 直接赋值新增
df['备注'] = '已审核'
# 条件赋值(np.where)
import numpy as np
df['等级'] = np.where(df['分数'] >= 90, '优',
             np.where(df['分数'] >= 80, '良', '需改进'))
# insert指定位置插入
df.insert(1, '新列', [1,2,3])  # 插到第1列后

六、分组聚合操作

聚合是数据分析的核心,通过groupby实现按维度拆分-应用-合并的完整流程。

基础分组聚合

# 按城市分组,计算平均年龄
df.groupby('城市')['年龄'].mean()
# 多聚合函数
df.groupby('城市').agg({
    '年龄': ['mean','min','max'],
    '收入': 'sum'
})
# 重命名聚合列
df.groupby('城市').agg(
    avg_age=('年龄', 'mean'),
    total_income=('收入', 'sum')
)

自定义聚合函数

# 计算收入区间(极差)
def range_val(x):
    return x.max() - x.min()
df.groupby('城市')['收入'].agg(range_val)
# 使用agg传递多个函数名
df.groupby('城市')['收入'].agg(['mean','std','range_val'])

透视表(Pivot Table)

类似Excel数据透视表,快速生成交叉统计:

pd.pivot_table(
    df,
    values='收入',
    index='城市',
    columns='性别',
    aggfunc='mean',
    fill_value=0
)

输出为二维表,便于直接可视化。

窗口函数(滚动计算)

# 7日移动平均
df['收入_7日均'] = df['收入'].rolling(7).mean()
# 累计求和
df['收入_累计'] = df['收入'].cumsum()
# 自定义窗口(如按日期分组后滚动)
df.set_index('日期').groupby('类别')['销量'].rolling('7D').sum()

七、数据合并与连接

实际分析中常需整合多源数据,merge和concat是两大核心工具。

merge连接
concat堆叠

① merge(类似SQL JOIN)

支持四种连接方式:

  • inner:交集(默认)
  • left:左表全保留
  • right:右表全保留
  • outer:并集(填充NaN)
pd.merge(df1, df2, on='ID', how='inner')
pd.merge(df1, df2, left_on='user_id', right_on='id', how='left')

⚠️ 注意:重复列名会自动加后缀(_x,_y),需提前处理。

② concat(堆叠)

沿轴拼接,类似SQL的UNION ALL:

# 纵向堆叠(行数相加)
pd.concat([df1, df2], ignore_index=True)
# 横向堆叠(列数相加)
pd.concat([df1, df2], axis=1)

⚠️ 注意:ignore_index=True可重置索引,避免重复。

八、性能优化实战

当DataFrame超过10万行,合理优化可提升10倍以上性能:

① 内存优化

# 内存优化示例
df['城市'] = df['城市'].astype('category')
df['用户ID'] = pd.to_numeric(df['用户ID'], downcast='integer')

② 向量化优先

避免.apply(),优先使用内置向量化方法:

# 低效:逐行计算
df['总价'] = df.apply(lambda r: r['单价'] * r['数量'], axis=1)
# 高效:向量化
df['总价'] = df['单价'] * df['数量']

③ 分块读取大文件

chunks = pd.read_csv('big_data.csv', chunksize=100000)
result = []
for chunk in chunks:
    # 分块处理
    processed = chunk[chunk['分数'] > 80]
    result.append(processed)
final_df = pd.concat(result)

九、常见误区与避坑指南

① 链式赋值警告(SettingWithCopyWarning)

错误示例:

df[df['分数'] > 80]['备注'] = '优秀'  # 可能不生效!

正确写法:

df.loc[df['分数'] > 80, '备注'] = '优秀'  # 显式定位

本质:中间结果可能是视图而非副本,直接赋值可能无效。

② 索引错乱

删除行后索引不连续,后续操作易出错:

df = df[df['分数'] > 60].reset_index(drop=True)

③ 混淆.copy()与直接赋值

df2 = df  # 引用,修改df2会改变df
df2 = df.copy()  # 独立副本

④ 忽略数据类型一致性

混合类型列(如[1,'A',3])会降级为object,丧失数值计算优势:

# 检查类型
print(df.dtypes)
# 强制转换
df['金额'] = pd.to_numeric(df['金额'], errors='raise')

十、综合实战案例

以下为完整分析流程,展示DataFrame在真实场景中的应用:

案例:电商订单分析

  1. 加载数据:读取CSV订单表(含用户ID、商品、单价、数量、日期)
  2. 数据清洗:处理缺失值、统一金额格式、提取星期几
  3. 特征工程:计算总金额、用户分层(新客/老客)
  4. 核心分析:
    • 每日销售额趋势
    • 各品类销售额占比
    • 高价值客户Top10
  5. 结果输出:保存分析表并生成可视化图表
import pandas as pd
import matplotlib.pyplot as plt
# 1. 加载
df = pd.read_csv('orders.csv', parse_dates=['下单时间'])
# 2. 清洗
df['单价'] = pd.to_numeric(df['单价'].str.replace('元', ''), errors='coerce')
df['总金额'] = df['单价'] * df['数量']
# 3. 特征
df['星期'] = df['下单时间'].dt.day_name()
df['是否高价值'] = df['总金额'] > df['总金额'].quantile(0.9)
# 4. 分析
daily_sales = df.groupby(df['下单时间'].dt.date)['总金额'].sum()
category_share = df.groupby('商品')['总金额'].sum().sort_values(ascending=False)
# 5. 可视化
daily_sales.plot(kind='line', title='每日销售额趋势')
plt.show()