⚡ 一、CSV文件基础与Python原生读取方式
〔1〕CSV文件结构规范
CSV(Comma-Separated Values)即“逗号分隔值”,是一种通用的、简单的文件格式,用于存储表格数据(包括数字和文本)。标准CSV文件应满足:
- 首行为标题行(可选),字段间用逗号分隔
- 每行代表一条记录
- 文本字段若含特殊字符(逗号、换行、引号),需用双引号包裹
- 双引号在字段内需转义为两个连续双引号
示例CSV内容(utf-8编码):
姓名,年龄,城市,备注 张三,28,成都,"工程师,专注Python" 李四,32,杭州,"数据分析师;" 王五,,北京,无备注
〔2〕使用内置csv模块读取
Python标准库提供csv模块,无需额外安装,适用于轻量级数据处理场景。核心方法:
csv.reader():返回迭代器,每行转为列表csv.DictReader():返回迭代器,每行转为字典(键为列名)
基础读取示例(含编码处理):
import csv
with open('data.csv', 'r', encoding='utf-8') as f:
reader = csv.reader(f)
header = next(reader) # 读取标题行
print("标题:", header)
for row in reader:
print(row)输出:
标题: ['姓名', '年龄', '城市', '备注'] ['张三', '28', '成都', '工程师,专注Python'] ['李四', '32', '杭州', '数据分析师;'] ['王五', '', '北京', '无备注']
〔3〕处理非标准CSV格式
实际场景中,CSV可能使用分号;、制表符\t或竖线|作为分隔符。可通过delimiter参数指定:
# 分号分隔CSV
with open('semicolon_data.csv', 'r', encoding='utf-8') as f:
reader = csv.reader(f, delimiter=';')
for row in reader:
print(row)若CSV含中文且编码为gbk(常见于Windows导出文件),需显式指定编码:
with open('data_gbk.csv', 'r', encoding='gbk', errors='ignore') as f:
reader = csv.reader(f)
for row in reader:
print(row)使用errors='ignore'可跳过非法字符,避免程序崩溃。
〔4〕写入CSV:反向操作
读取后常需写入新文件,使用csv.writer:
import csv
data = [
['姓名', '年龄', '城市'],
['赵六', 25, '深圳'],
['钱七', 30, '南京']
]
with open('output.csv', 'w', encoding='utf-8', newline='') as f:
writer = csv.writer(f)
writer.writerows(data)注意:newline=''可避免Windows下每行出现空行问题。
⚙️ 二、编码问题深度解析与解决方案
〔1〕常见编码格式对比
| 编码 | 适用场景 | 是否兼容ASCII | 常见问题 |
|---|---|---|---|
| UTF-8 | 现代Web、跨平台 | 是 | 中文占3字节;部分旧文件可能缺失BOM |
| GBK | 中文Windows本地文件 | 部分 | 不兼容Linux/macOS;英文+中文混合时易出错 |
| ISO-8859-1 | 西欧语言(不支持中文) | 是 | 直接读中文会乱码 |
| UTF-16 | Windows注册表等 | 否 | 含BOM;需处理字节序(LE/BE) |
〔2〕检测CSV文件编码的3种方法
- 手动检测:用VS Code打开文件 → 右下角显示编码 → 点击切换查看是否乱码
- Python自动检测(需安装chardet):
import chardet
with open('unknown.csv', 'rb') as f:
raw = f.read(10000) # 取前10KB采样
result = chardet.detect(raw)
print(result)
# 输出示例:{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}- 通用试探法(无需第三方库):
def detect_encoding(filepath):
encodings = ['utf-8', 'gbk', 'gb2312', 'big5', 'iso-8859-1']
for enc in encodings:
try:
with open(filepath, 'r', encoding=enc) as f:
f.read()
return enc
except UnicodeDecodeError:
continue
return 'unknown'〔3〕处理BOM(字节顺序标记)
UTF-8 BOM为0xEF 0xBB 0xBF,部分编辑器(如Windows记事本)会自动添加。使用utf-8-sig编码可自动跳过BOM:
with open('data_with_bom.csv', 'r', encoding='utf-8-sig') as f:
reader = csv.reader(f)
print(next(reader)) # 首列名不再含BOM字符若已用utf-8读取却出现首列乱码(如姓名),需改用utf-8-sig。
〔4〕Pandas read_csv:生产级数据读取核心
〔1〕基础用法与参数详解
pandas.read_csv()是数据科学首选方案,支持海量数据、自动类型推断、缺失值处理等。核心参数:
| 参数 | 作用 | 典型值 |
|---|---|---|
filepath_or_buffer | 文件路径或文件对象 | 'data.csv' |
sep | 分隔符 | ',' / '\t' / ';' |
encoding | 文件编码 | 'utf-8' / 'gbk' |
header | 标题行行号 | 0 / None(无标题) |
names | 自定义列名 | ['A','B','C'] |
usecols | 只读指定列 | [0,2] / ['name','age'] |
na_values | 缺失值标识 | ['','NA','null'] |
parse_dates | 解析日期列 | [0] / {'date': [0,1,2]} |
dtype | 强制列类型 | {'age': int, 'name': str} |
〔2〕实战示例:从零构建DataFrame
假设CSV内容如下:
id,姓名,入职日期,薪资,部门 001,张三,2020-03-15,12000.50,技术部 002,李四,2019-07-01,15000,产品部 003,,2021-01-10,,技术部
读取并清洗:
import pandas as pd
df = pd.read_csv(
'employees.csv',
encoding='utf-8',
na_values=['', 'N/A'],
dtype={'id': str, '薪资': float, '部门': 'category'},
parse_dates=['入职日期']
)
print(df.info())
print(df.head())输出:
<class 'pandas.core.frame.DataFrame'> RangeIndex: 3 entries, 0 to 2 Data columns (total 5 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 id 3 non-null object 1 姓名 2 non-null object 2 入职日期 3 non-null datetime64[ns] 3 薪资 2 non-null float64 4 部门 3 non-null category dtypes: category(1), datetime64[ns](1), float64(1), object(2) memory usage: 248.0+ bytes id 姓名 入职日期 薪资 部门 0 001 张三 2020-03-15 12000.5 技术部 1 002 李四 2019-07-01 15000.0 产品部 2 003 NaN 2021-01-10 NaN 技术部
〔3〕高级技巧:分块读取大文件
当CSV文件超过内存(如1GB+),使用chunksize参数分块处理:
chunk_iter = pd.read_csv('large.csv', chunksize=100000)
total_salary = 0
for chunk in chunk_iter:
total_salary += chunk['薪资'].sum()
print(f"总薪资: {total_salary}")此方法可稳定处理10GB+文件,内存占用恒定。
〔4〕时间列解析技巧
日期格式不统一时,用date_parser自定义解析函数:
from datetime import datetime
def parse_date(date_str):
try:
return datetime.strptime(date_str, '%Y/%m/%d')
except:
try:
return datetime.strptime(date_str, '%Y-%m-%d')
except:
return None
df = pd.read_csv(
'time_data.csv',
parse_dates=['日期'],
date_parser=parse_date
)〔5〕常见问题排查与解决方案
〔1〕乱码问题诊断流程图
- 检查文件原始编码(用Notepad++或VS Code)
- 尝试
utf-8→ 若首列含→ 改用utf-8-sig - 若乱码为中文全为方框 → 改用
gbk或gb2312 - 若报错
UnicodeDecodeError→ 用errors='ignore'临时跳过
〔2〕列名含空格/特殊字符
CSV列名如" 姓名 "或"年龄(岁)"会导致访问困难:
# 读取后清洗列名 df.columns = df.columns.str.strip().str.replace(r'[()()]', '', regex=True) print(df.columns.tolist()) # ['姓名', '年龄岁']
〔3〕数字列被读为字符串
常见于含逗号的数字(如"1,234"):
df['薪资'] = df['薪资'].str.replace(',', '').astype(float)〔4〕缺失值处理策略
用均值/中位数填充:
df['薪资'].fillna(df['薪资'].median(), inplace=True)
用固定值或众数填充:
df['部门'].fillna('未知', inplace=True)时间序列前向/后向填充:
df.sort_values('入职日期', inplace=True)
df['薪资'].fillna(method='ffill', inplace=True)〔6〕性能优化:处理100万+行数据
〔1〕关键优化手段对比
| 方法 | 内存占用 | 读取速度 | 适用场景 |
|---|---|---|---|
| 默认read_csv | 高 | 中 | 小文件(<100MB) |
| 分块读取 | 恒定 | 慢 | 超大文件(>1GB) |
| 指定dtype | ↓30%~50% | ↑15%~25% | 已知数据类型 |
| usecols筛选 | ↓与列数成正比 | ↑ | 仅需部分列 |
| engine='pyarrow' | ↓20% | ↑50%+ | PyArrow环境 |
〔2〕高效读取模板(推荐生产使用)
import pandas as pd
df = pd.read_csv(
'data.csv',
encoding='utf-8',
dtype={
'id': 'category',
'部门': 'category',
'薪资': 'float32'
},
usecols=['id', '姓名', '薪资', '部门'],
na_values=['', 'N/A', 'null'],
low_memory=False # 避免类型推断多次扫描
)〔3〕对比实验:100万行CSV读取耗时
测试文件:100万行 × 10列(含中文),210MB
| 方案 | 内存峰值(MB) | 耗时(秒) |
|---|---|---|
| 默认read_csv | 185 | 4.2 |
| + dtype指定 | 112 | 3.6 |
| + usecols(选5列) | 58 | 2.8 |
| 分块读取(10万/块) | 42 | 5.1 |
〔7〕实战案例:电商订单数据处理全流程
〔1〕场景描述
某电商平台导出订单CSV(含10万+订单),字段:订单号、用户ID、下单时间、金额、支付方式、商品分类、收货地址。要求:
- 清洗缺失值(金额异常为0或负数)
- 提取月份、星期几作为新特征
- 按支付方式统计转化率
〔2〕完整代码实现
import pandas as pd
from datetime import datetime
# 1. 读取数据(检测编码后用utf-8)
df = pd.read_csv(
'orders.csv',
encoding='utf-8',
dtype={'订单号': str, '用户ID': str, '支付方式': 'category'},
parse_dates=['下单时间'],
na_values=['', 'N/A']
)
# 2. 异常值处理
df = df[df['金额'] > 0] # 删除负金额
df['金额'].fillna(df['金额'].median(), inplace=True)
# 3. 特征工程
df['月份'] = df['下单时间'].dt.month
df['星期'] = df['下单时间'].dt.day_name()
df['是否周末'] = df['星期'].isin(['Saturday', 'Sunday'])
# 4. 分析:支付方式转化率
conversion = df.groupby('支付方式').agg(
订单数=('订单号', 'count'),
平均金额=('金额', 'mean'),
总金额=('金额', 'sum')
).sort_values('订单数', ascending=False)
print(conversion)〔3〕输出结果示例
支付方式 订单数 平均金额 总金额 微信支付 52341 128.45 6723456.78 支付宝 38215 115.62 4418923.45 银联卡 7892 135.28 1067456.32 其他 1552 142.87 221765.24
〔4〕导出结果
conversion.to_csv('payment_analysis.csv', encoding='utf-8-sig')