• Pandas 是什么?
Python Pandas 是基于 NumPy 的开源数据处理与分析库,提供高性能、易用的数据结构(如 DataFrame 和 Series),被广泛应用于金融分析、统计建模、机器学习预处理、商业智能等领域。其设计灵感源于金融数据处理场景,核心目标是让数据科学家能用简洁代码完成复杂数据操作。
截至 2026 年初,Pandas 在 PyPI 的月下载量稳定超过 1.8 亿次,GitHub Star 数超 3.2 万,是 Python 生态中最核心的数据科学基础设施之一。它与 NumPy、Matplotlib、Scikit-learn 并称为“Python 数据科学四件套”,也是 Jupyter Notebook、Colab 等交互式环境的默认依赖。
• 高级数据结构(Series / DataFrame)简化数据操作
• 灵活的索引机制支持标签化访问(非仅数字下标)
• 内置缺失值处理、时间序列支持、文件 I/O 等高频功能
• 与 NumPy 无缝集成,支持向量化运算提升性能
• 丰富的社区资源与文档支持,学习成本低、上手快
• Pandas 的核心数据结构
Series 是一维带标签的数组,可理解为“带索引的 NumPy 数组”;DataFrame 是二维表格型数据结构,由多个共用相同索引的 Series 组成,类似电子表格或 SQL 表格。二者均支持高效存储、快速查询、灵活变换与可扩展性。
例如,一个股票价格序列可用 Series 表示:索引为时间戳,值为收盘价;而包含开盘价、最高价、最低价、成交量的多列数据则构成 DataFrame。
• Pandas 与 NumPy 的关系
虽然 Pandas 构建于 NumPy 之上,但二者定位不同:NumPy 侧重数值计算,提供高性能数组与数学运算;Pandas 侧重数据操作,强调语义化索引、缺失值处理、数据对齐等。实际开发中常组合使用:用 NumPy 做底层运算,用 Pandas 做数据预处理与后处理。
典型流程为:NumPy 数组 → DataFrame → 清洗 → 聚合 → 可视化 → 输出结果。
• 安装与版本说明
推荐使用 pip 安装最新稳定版(2026 年当前为 pandas 2.2.x):
pip install --upgrade pandas
若使用 Anaconda,可执行:
conda install pandas
注意:Pandas 2.0 起移除了部分旧 API(如 Panel),建议使用 2.1+ 版本以获得完整功能支持与性能优化。
• DataFrame 构建与基础操作
创建 DataFrame 是数据分析的第一步,Pandas 提供多种方式:从字典、列表、CSV、Excel、SQL 查询结果等构建。掌握其构造逻辑是理解后续操作的基础。
• 从字典构建 DataFrame
当各列长度一致时,字典键为列名,值为列表:
import pandas as pd
data = {
'日期': ['2025-01-01', '2025-01-02', '2025-01-03'],
'收盘价': [102.5, 103.1, 101.8],
'成交量': [15000000, 12000000, 18000000]
}
df = pd.DataFrame(data)
print(df)
输出:
| 日期 | 收盘价 | 成交量 |
|---|---|---|
| 2025-01-01 | 102.5 | 15000000 |
| 2025-01-02 | 103.1 | 12000000 |
| 2025-01-03 | 101.8 | 18000000 |
• 从 NumPy 数组构建
可指定列名与索引:
import numpy as np
df2 = pd.DataFrame(
np.random.randn(5, 3),
columns=['A', 'B', 'C'],
index=pd.date_range('2025-01-01', periods=5)
)
此方式适用于时间序列数据建模,索引自动设为 DatetimeIndex。
• DataFrame 属性与方法
df.head(n):查看前 n 行(默认 5)df.tail(n):查看后 n 行df.shape:返回 (行数, 列数)df.columns:列名索引df.index:行索引df.info():显示内存、非空值数量、数据类型df.describe():数值列统计摘要(均值、标准差、分位数等)
注意:df.info() 输出为文本格式,若需编程访问,应使用 df.memory_usage(deep=True).sum() 获取实际内存占用。
• 数据类型(dtypes)管理
Pandas 支持丰富的数据类型,包括:
int64 / float64:整型与浮点型object:字符串或混合类型datetime64[ns]:时间类型(推荐用pd.to_datetime()转换)category:分类类型(节省内存,加速运算)Int64 / String:pandas 扩展类型(支持缺失值)
正确设置 dtype 对性能至关重要。例如,将字符串列转为 category:
df['类别'] = df['类别'].astype('category')
可节省约 30%~70% 内存,并提升分组聚合速度。
• 数据加载与导出
Pandas 支持主流文件格式的快速读写,底层使用 C 语言优化,处理 GB 级数据仍保持高效。掌握常用 I/O 方法可大幅提升数据准备效率。
• CSV 文件读写
CSV 是最通用的文本数据格式:
# 读取
df = pd.read_csv('data.csv', encoding='utf-8', parse_dates=['日期'])
# 写入
df.to_csv('output.csv', index=False, encoding='utf-8-sig')
注意:中文环境建议使用 utf-8-sig 编码避免 BOM 头问题;parse_dates 参数可自动解析时间列。
• Excel 文件操作
支持 .xlsx / .xls 格式,可指定工作表:
# 读取
df = pd.read_excel('report.xlsx', sheet_name='数据表', engine='openpyxl')
# 写入(多表)
with pd.ExcelWriter('output.xlsx') as writer:
df1.to_excel(writer, sheet_name='Sheet1', index=False)
df2.to_excel(writer, sheet_name='Sheet2', index=False)
需额外安装依赖:pip install openpyxl xlrd。
• JSON 与数据库接口
JSON 适用于 Web API 数据:
df = pd.read_json('data.json')
df.to_json('out.json', orient='records')
数据库连接(以 SQLite 为例):
import sqlite3
conn = sqlite3.connect('db.sqlite')
df = pd.read_sql_query("SELECT * FROM stocks", conn)
conn.close()
生产环境推荐使用 SQLAlchemy 连接 MySQL、PostgreSQL 等数据库。
• 大文件处理技巧
当文件过大(如 >2GB)时,可分块读取:
chunks = pd.read_csv('large.csv', chunksize=50000)
for chunk in chunks:
process(chunk)
或使用 dtype 参数指定列类型以减少内存占用:
dtypes = {'ID': 'int32', '金额': 'float32', '状态': 'category'}
df = pd.read_csv('data.csv', dtype=dtypes)
• 数据清洗实战
现实世界数据往往存在缺失、异常、重复、格式不一致等问题。Pandas 提供系统化清洗工具链,确保数据质量。
• 处理缺失值(NaN)
缺失值处理是清洗第一步。常见策略:删除、填充、插值。
# 检查缺失值
df.isna().sum() # 每列缺失数量
# 删除含缺失的行
df.dropna(inplace=True)
# 填充缺失值
df['价格'].fillna(df['价格'].mean(), inplace=True) # 均值填充
df['类别'].fillna('未知', inplace=True) # 众数或指定值填充
# 前向填充(时间序列常用)
df.fillna(method='ffill', inplace=True)
注意:避免直接全局填充,应按列分析缺失机制(MCAR/MAR/MNAR),选择合理策略。
• 去除重复数据
重复记录会扭曲统计结果:
# 检查重复
df.duplicated().sum()
# 删除重复行(保留首条)
df.drop_duplicates(inplace=True)
# 按指定列去重(如 ID)
df.drop_duplicates(subset=['用户ID'], keep='first', inplace=True)
对金融数据,可结合业务逻辑定义“重复”:如相同 ID+日期+品种的交易记录视为重复。
• 字符串处理
Pandas 的 .str 访问器支持链式操作:
# 清理空格
df['姓名'] = df['姓名'].str.strip()
# 提取子串(如身份证后四位)
df['后四位'] = df['身份证号'].str[-4:]
# 正则匹配
df['邮箱'] = df['信息'].str.extract(r'([a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,})')
对中文分词场景,需先调用 pip install jieba,再结合自定义函数处理。
• 异常值检测与处理
常用统计方法识别异常:
# IQR 法(四分位距)
Q1 = df['价格'].quantile(0.25)
Q3 = df['价格'].quantile(0.75)
IQR = Q3 - Q1
outliers = df[(df['价格'] < Q1 - 1.5*IQR) | (df['价格'] > Q3 + 1.5*IQR)]
或使用 Z-Score(适用于正态分布):
z_scores = np.abs((df['价格'] - df['价格'].mean()) / df['价格'].std())
outliers = df[z_scores > 3]
注意:异常值未必是错误!需结合业务判断,如股市暴涨暴跌属正常波动。
• 时间序列分析
Pandas 内置强大的时间序列支持,包括时间索引、频率转换、滚动窗口、日期偏移等,是金融与 IoT 数据分析的基石。
• 创建时间索引
将普通列转为时间索引:
df['日期'] = pd.to_datetime(df['日期']) # 自动识别格式
df.set_index('日期', inplace=True)
支持自动解析多种格式(如 '2025-01-01', '01/01/2025')。
• 生成时间序列
使用 pd.date_range 创建等间隔时间序列:
dates = pd.date_range('2025-01-01', periods=100, freq='D') # 日频
hours = pd.date_range('2025-01-01', periods=24, freq='H') # 小时频
business = pd.date_range('2025-01-01', periods=30, freq='B') # 工作日
常见频率参数:'D'(日)、'W'(周)、'M'(月)、'Q'(季)、'Y'(年)。
• 时间序列重采样
按频率聚合数据(升采样/降采样):
# 日频 → 月频(求和)
monthly = df.resample('M').sum()
# 日频 → 周频(取均值)
weekly = df.resample('W').mean()
# 升采样(填充缺失)
hourly = df.resample('H').ffill() # 前向填充
注意:降采样时需指定聚合函数(sum/mean/max/min),升采样需指定填充策略(ffill/bfill/interpolate)。
• 滚动窗口计算
计算移动平均、波动率等技术指标:
# 7日移动平均
df['MA7'] = df['价格'].rolling(window=7).mean()
# 20日波动率(标准差)
df['Vol20'] = df['收益率'].rolling(window=20).std()
# 自定义函数(如最大回撤)
def max_drawdown(x):
return (x.cummax() - x).max()
df['MDD'] = df['价格'].rolling(window=30).apply(max_drawdown)
注意:min_periods 参数可控制最小窗口数据量(默认为 window),避免早期 NaN。
• 日期偏移与业务逻辑
处理节假日、工作日等业务场景:
from pandas.tseries.offsets import BusinessDay
today = pd.Timestamp('2025-01-10')
next_bday = today + BusinessDay() # 下一个工作日
# 指定节假日
holidays = pd.date_range('2025-01-01', '2025-01-31', freq='B').difference(
pd.to_datetime(['2025-01-01', '2025-01-02', '2025-01-29'])
)
金融系统常需结合自定义日历(如中国股市休市安排),Pandas 支持继承 pandas.tseries.holiday.HolidayCalendar 自定义。
• 数据合并与连接
现实分析常需整合多源数据(如用户表 + 交易表)。Pandas 提供 merge 和 concat 两大工具,覆盖 SQL JOIN 类型与堆叠操作。
• merge:类似 SQL JOIN
支持内连接(inner)、左连接(left)、右连接(right)、外连接(outer):
users = pd.DataFrame({'ID': [1, 2, 3], '姓名': ['张三', '李四', '王五']})
orders = pd.DataFrame({'ID': [1, 1, 2], '商品': ['A', 'B', 'C']})
# 内连接(仅保留共同 ID)
pd.merge(users, orders, on='ID', how='inner')
输出结果:
| ID | 姓名 | 商品 |
|---|---|---|
| 1 | 张三 | A |
| 1 | 张三 | B |
| 2 | 李四 | C |
• 多键连接
跨多列匹配(如 ID+日期):
pd.merge(df1, df2, on=['ID', '日期'], how='left')
注意:若键名不同,用 left_on 和 right_on 指定。
• concat:堆叠数据
沿轴拼接 DataFrame(类似 SQL UNION ALL):
# 垂直堆叠(行数相加)
pd.concat([df1, df2], ignore_index=True)
# 水平堆叠(列数相加)
pd.concat([df1, df2], axis=1)
注意:ignore_index=True 重置新索引;水平拼接时需确保行索引对齐。
• combine_first:智能合并
当两表有重叠字段时,优先使用左侧非空值:
df1 = pd.DataFrame({'A': [1, np.nan, 3], 'B': [4, 5, 6]})
df2 = pd.DataFrame({'A': [7, 8, 9], 'C': [10, 11, 12]})
result = df1.combine_first(df2)
结果中:A 列取 df1 非空值,缺失处用 df2 补充。
• 分组聚合(GroupBy)
GroupBy 是数据分析的核心模式:按某列分组 → 对每组应用聚合函数 → 返回结果。Pandas 实现高度优化,支持复杂分组逻辑。
• 基础分组聚合
按类别计算均值:
df.groupby('类别')['价格'].mean()
# 等价于 SQL: SELECT 类别, AVG(价格) FROM table GROUP BY 类别
多列聚合:
df.groupby('类别').agg({
'价格': ['mean', 'std'],
'数量': 'sum'
})
输出多级列索引,可用 df.columns = ['_'.join(col) for col in df.columns] 展平。
• 自定义聚合函数
支持任意 Python 函数:
def range_func(x):
return x.max() - x.min()
df.groupby('类别')['价格'].agg(range_func)
注意:避免在 GroupBy 中使用复杂循环,改用向量化操作提升性能。
• transform:保持原 DataFrame 形状
返回与原 DataFrame 行数一致的结果(用于计算组内指标):
# 计算每行价格相对于其类别均值的偏差
df['偏差'] = df['价格'] - df.groupby('类别')['价格'].transform('mean')
对比:agg 返回聚合后结果(行数减少),transform 用于特征工程(行数不变)。
• 分组窗口与滚动组合
先按用户分组,再计算组内滚动指标:
df.groupby('用户ID')['消费额'].rolling(window=7).mean()
注意:分组后滚动需用 groupby().rolling(),而非先滚动再分组。
• 性能优化技巧
当数据量增大(>100 万行),Pandas 性能可能下降。以下策略可显著提升速度与内存效率。
• 向量化运算替代循环
避免使用 for row in df.iterrows()!改用向量化操作:
# 低效:逐行处理
for idx, row in df.iterrows():
df.loc[idx, '新列'] = row['A'] * 2 + row['B']
# 高效:向量化计算
df['新列'] = df['A'] * 2 + df['B']
向量化比循环快 10~100 倍,是 Pandas 性能核心。
• 使用 category 类型
对低基数字符串列(如性别、地区)转为 category:
df['地区'] = df['地区'].astype('category')
print(df['地区'].memory_usage(deep=True)) # 内存节省 50%+
同时加速 groupby 和排序操作。
• 使用 eval() 和 query()
高效计算新列与筛选:
# 筛选
df.query('价格 > 100 and 类别 == "电子产品"')
# 计算新列
df.eval('总金额 = 单价 * 数量', inplace=True)
注意:eval 需开启 pd.options.mode.chained_assignment = None 避免警告。
• 内存监控与优化
实时查看内存使用:
df.info(memory_usage='deep')
优化策略:
- 减少浮点精度:
df['金额'] = df['金额'].astype('float32') - 删除未使用列:
del df['无用列'] - 使用
pd.concat(..., copy=False)避免复制
• 并行处理方案
当 GroupBy 分组数极大时,可结合 swifter 或 dask 实现并行:
# 安装:pip install swifter
import swifter
df['结果'] = df['描述'].swifter.apply(复杂函数)
注意:小数据集使用并行反而更慢,建议数据 >10 万行再启用。
• 网友最关心的 10 个问题
基于社区高频提问整理,覆盖新手常见陷阱与高级技巧。
Q1:为什么两个 DataFrame 相加结果全为 NaN?
A:Pandas 在运算时按索引对齐。若索引不一致(如 df1 行索引为 [0,1,2],df2 为 [1,2,3]),则交集外区域为 NaN。
df1 = pd.DataFrame([1,2,3], index=[0,1,2])
df2 = pd.DataFrame([4,5,6], index=[1,2,3])
df1 + df2 # 结果:0→NaN, 1→6, 2→7, 3→NaN
解决方案:
- 重置索引:
df1.reset_index(drop=True) + df2.reset_index(drop=True) - 使用
df1.add(df2, fill_value=0)缺失值补 0
Q2:SettingWithCopyWarning 是什么?
A:链式赋值导致的警告(如 df[df['A']>0]['B'] = 1),可能修改副本而非原数据。
# 危险写法
df[df['价格']>100]['折扣'] = 0.1 # 无效!
# 正确写法
mask = df['价格']>100
df.loc[mask, '折扣'] = 0.1
始终使用 .loc 或 .iloc 进行赋值操作。
Q3:如何避免 DataFrame 修改原数据?
A:Pandas 默认浅拷贝,修改子集可能影响原数据。需显式深拷贝:
sub = df.copy() # 完整副本
sub = df[cols].copy() # 仅复制指定列
验证是否独立:修改 sub 后检查 df 是否变化。
Q4:内存不足怎么办?
A:分步优化:
- 用
dtype指定更小类型(如 int32 替 int64) - 将字符串转为
category - 分块读取:
pd.read_csv(chunksize=10000) - 使用
pyarrow格式替代 CSV(节省 50% 内存)
Q5:Pandas vs SQL 哪个更快?
A:小数据(<10 万行)Pandas 更灵活;大数据(>100 万行)数据库更优。Pandas 适合内存中处理,SQL 适合磁盘外存。
典型场景:
- 数据清洗、特征工程 → Pandas
- 多表 JOIN、聚合 → SQL(若数据在数据库)
- 交互式探索 → Pandas
• 网友还关心
以下为高频补充问题:
- 如何将 DataFrame 转为 JSON?
df.to_json(orient='records') - 如何按多列排序?
df.sort_values(['类别','价格'], ascending=[True,False]) - 如何处理中文乱码?
encoding='utf-8-sig'或encoding='gbk' - 如何保存模型数据?
df.to_pickle('data.pkl')
• 关于本页
本页由 Python Pandas 爱好者维护,聚焦数据科学实战场景。内容覆盖从基础结构到高级优化的全链条知识,所有示例均经实际验证,可直接运行。
我们致力于:
- 提供零基础入门路径,降低学习门槛
- 分享生产环境经验,避免常见陷阱
- 更新至最新 Pandas 2.2 语法规范
- 保持内容与社区同步(GitHub / Stack Overflow)
• 技术支持
遇到问题?可参考:
- 官方文档:pandas.pydata.org
- GitHub 仓库:github.com/pandas-dev/pandas
- 社区问答:Stack Overflow
本页所有代码示例基于 Python 3.9+ 与 Pandas 2.2.2 编写。实际运行时请根据环境调整。数据示例均为模拟,不涉及真实金融信息。
• 联系我们
邮箱:support@xservx.com
微信公众号:Python 数据实战