Python如何读取CSV

⚡ 一、CSV文件基础与Python原生读取方式

〔1〕CSV文件结构规范

CSV(Comma-Separated Values)即“逗号分隔值”,是一种通用的、简单的文件格式,用于存储表格数据(包括数字和文本)。标准CSV文件应满足:

  • 首行为标题行(可选),字段间用逗号分隔
  • 每行代表一条记录
  • 文本字段若含特殊字符(逗号、换行、引号),需用双引号包裹
  • 双引号在字段内需转义为两个连续双引号

示例CSV内容(utf-8编码):

姓名,年龄,城市,备注
张三,28,成都,"工程师,专注Python"
李四,32,杭州,"数据分析师;"
王五,,北京,无备注

〔2〕使用内置csv模块读取

Python标准库提供csv模块,无需额外安装,适用于轻量级数据处理场景。核心方法:

  • csv.reader():返回迭代器,每行转为列表
  • csv.DictReader():返回迭代器,每行转为字典(键为列名)

基础读取示例(含编码处理):

import csv
with open('data.csv', 'r', encoding='utf-8') as f:
    reader = csv.reader(f)
    header = next(reader)  # 读取标题行
    print("标题:", header)
    for row in reader:
        print(row)

输出:

标题: ['姓名', '年龄', '城市', '备注']
['张三', '28', '成都', '工程师,专注Python']
['李四', '32', '杭州', '数据分析师;']
['王五', '', '北京', '无备注']

〔3〕处理非标准CSV格式

实际场景中,CSV可能使用分号;、制表符\t或竖线|作为分隔符。可通过delimiter参数指定:

# 分号分隔CSV
with open('semicolon_data.csv', 'r', encoding='utf-8') as f:
    reader = csv.reader(f, delimiter=';')
    for row in reader:
        print(row)

若CSV含中文且编码为gbk(常见于Windows导出文件),需显式指定编码:

with open('data_gbk.csv', 'r', encoding='gbk', errors='ignore') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

使用errors='ignore'可跳过非法字符,避免程序崩溃。

〔4〕写入CSV:反向操作

读取后常需写入新文件,使用csv.writer:

import csv
data = [
    ['姓名', '年龄', '城市'],
    ['赵六', 25, '深圳'],
    ['钱七', 30, '南京']
]
with open('output.csv', 'w', encoding='utf-8', newline='') as f:
    writer = csv.writer(f)
    writer.writerows(data)

注意:newline=''可避免Windows下每行出现空行问题。

⚙️ 二、编码问题深度解析与解决方案

〔1〕常见编码格式对比

编码适用场景是否兼容ASCII常见问题
UTF-8现代Web、跨平台是中文占3字节;部分旧文件可能缺失BOM
GBK中文Windows本地文件部分不兼容Linux/macOS;英文+中文混合时易出错
ISO-8859-1西欧语言(不支持中文)是直接读中文会乱码
UTF-16Windows注册表等否含BOM;需处理字节序(LE/BE)

〔2〕检测CSV文件编码的3种方法

  1. 手动检测:用VS Code打开文件 → 右下角显示编码 → 点击切换查看是否乱码
  2. Python自动检测(需安装chardet):
import chardet
with open('unknown.csv', 'rb') as f:
    raw = f.read(10000)  # 取前10KB采样
    result = chardet.detect(raw)
    print(result)
# 输出示例:{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}
  1. 通用试探法(无需第三方库):
def detect_encoding(filepath):
    encodings = ['utf-8', 'gbk', 'gb2312', 'big5', 'iso-8859-1']
    for enc in encodings:
        try:
            with open(filepath, 'r', encoding=enc) as f:
                f.read()
            return enc
        except UnicodeDecodeError:
            continue
    return 'unknown'

〔3〕处理BOM(字节顺序标记)

UTF-8 BOM为0xEF 0xBB 0xBF,部分编辑器(如Windows记事本)会自动添加。使用utf-8-sig编码可自动跳过BOM:

with open('data_with_bom.csv', 'r', encoding='utf-8-sig') as f:
    reader = csv.reader(f)
    print(next(reader))  # 首列名不再含BOM字符

若已用utf-8读取却出现首列乱码(如姓名),需改用utf-8-sig。

〔4〕Pandas read_csv:生产级数据读取核心

〔1〕基础用法与参数详解

pandas.read_csv()是数据科学首选方案,支持海量数据、自动类型推断、缺失值处理等。核心参数:

参数作用典型值
filepath_or_buffer文件路径或文件对象'data.csv'
sep分隔符',' / '\t' / ';'
encoding文件编码'utf-8' / 'gbk'
header标题行行号0 / None(无标题)
names自定义列名['A','B','C']
usecols只读指定列[0,2] / ['name','age']
na_values缺失值标识['','NA','null']
parse_dates解析日期列[0] / {'date': [0,1,2]}
dtype强制列类型{'age': int, 'name': str}

〔2〕实战示例:从零构建DataFrame

假设CSV内容如下:

id,姓名,入职日期,薪资,部门
001,张三,2020-03-15,12000.50,技术部
002,李四,2019-07-01,15000,产品部
003,,2021-01-10,,技术部

读取并清洗:

import pandas as pd
df = pd.read_csv(
    'employees.csv',
    encoding='utf-8',
    na_values=['', 'N/A'],
    dtype={'id': str, '薪资': float, '部门': 'category'},
    parse_dates=['入职日期']
)
print(df.info())
print(df.head())

输出:

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3 entries, 0 to 2
Data columns (total 5 columns):
 #   Column  Non-Null Count  Dtype
---  ------  --------------  -----
 0   id      3 non-null      object
 1   姓名    2 non-null      object
 2   入职日期  3 non-null      datetime64[ns]
 3   薪资    2 non-null      float64
 4   部门    3 non-null      category
dtypes: category(1), datetime64[ns](1), float64(1), object(2)
memory usage: 248.0+ bytes
   id  姓名   入职日期   薪资      部门
0  001  张三 2020-03-15  12000.5  技术部
1  002  李四 2019-07-01  15000.0  产品部
2  003 NaN 2021-01-10     NaN  技术部

〔3〕高级技巧:分块读取大文件

当CSV文件超过内存(如1GB+),使用chunksize参数分块处理:

chunk_iter = pd.read_csv('large.csv', chunksize=100000)
total_salary = 0
for chunk in chunk_iter:
    total_salary += chunk['薪资'].sum()
print(f"总薪资: {total_salary}")

此方法可稳定处理10GB+文件,内存占用恒定。

〔4〕时间列解析技巧

日期格式不统一时,用date_parser自定义解析函数:

from datetime import datetime
def parse_date(date_str):
    try:
        return datetime.strptime(date_str, '%Y/%m/%d')
    except:
        try:
            return datetime.strptime(date_str, '%Y-%m-%d')
        except:
            return None
df = pd.read_csv(
    'time_data.csv',
    parse_dates=['日期'],
    date_parser=parse_date
)

〔5〕常见问题排查与解决方案

〔1〕乱码问题诊断流程图

  1. 检查文件原始编码(用Notepad++或VS Code)
  2. 尝试utf-8 → 若首列含 → 改用utf-8-sig
  3. 若乱码为中文全为方框 → 改用gbk或gb2312
  4. 若报错UnicodeDecodeError → 用errors='ignore'临时跳过

〔2〕列名含空格/特殊字符

CSV列名如" 姓名 "或"年龄(岁)"会导致访问困难:

# 读取后清洗列名
df.columns = df.columns.str.strip().str.replace(r'[()()]', '', regex=True)
print(df.columns.tolist())  # ['姓名', '年龄岁']

〔3〕数字列被读为字符串

常见于含逗号的数字(如"1,234"):

df['薪资'] = df['薪资'].str.replace(',', '').astype(float)

〔4〕缺失值处理策略

数值列填充
文本列填充
智能插值

用均值/中位数填充:

df['薪资'].fillna(df['薪资'].median(), inplace=True)

用固定值或众数填充:

df['部门'].fillna('未知', inplace=True)

时间序列前向/后向填充:

df.sort_values('入职日期', inplace=True)
df['薪资'].fillna(method='ffill', inplace=True)

〔6〕性能优化:处理100万+行数据

〔1〕关键优化手段对比

方法内存占用读取速度适用场景
默认read_csv高中小文件(<100MB)
分块读取恒定慢超大文件(>1GB)
指定dtype↓30%~50%↑15%~25%已知数据类型
usecols筛选↓与列数成正比↑仅需部分列
engine='pyarrow'↓20%↑50%+PyArrow环境

〔2〕高效读取模板(推荐生产使用)

import pandas as pd
df = pd.read_csv(
    'data.csv',
    encoding='utf-8',
    dtype={
        'id': 'category',
        '部门': 'category',
        '薪资': 'float32'
    },
    usecols=['id', '姓名', '薪资', '部门'],
    na_values=['', 'N/A', 'null'],
    low_memory=False  # 避免类型推断多次扫描
)

〔3〕对比实验:100万行CSV读取耗时

测试文件:100万行 × 10列(含中文),210MB

方案内存峰值(MB)耗时(秒)
默认read_csv1854.2
+ dtype指定1123.6
+ usecols(选5列)582.8
分块读取(10万/块)425.1

〔7〕实战案例:电商订单数据处理全流程

〔1〕场景描述

某电商平台导出订单CSV(含10万+订单),字段:订单号、用户ID、下单时间、金额、支付方式、商品分类、收货地址。要求:

  • 清洗缺失值(金额异常为0或负数)
  • 提取月份、星期几作为新特征
  • 按支付方式统计转化率

〔2〕完整代码实现

import pandas as pd
from datetime import datetime
# 1. 读取数据(检测编码后用utf-8)
df = pd.read_csv(
    'orders.csv',
    encoding='utf-8',
    dtype={'订单号': str, '用户ID': str, '支付方式': 'category'},
    parse_dates=['下单时间'],
    na_values=['', 'N/A']
)
# 2. 异常值处理
df = df[df['金额'] > 0]  # 删除负金额
df['金额'].fillna(df['金额'].median(), inplace=True)
# 3. 特征工程
df['月份'] = df['下单时间'].dt.month
df['星期'] = df['下单时间'].dt.day_name()
df['是否周末'] = df['星期'].isin(['Saturday', 'Sunday'])
# 4. 分析:支付方式转化率
conversion = df.groupby('支付方式').agg(
    订单数=('订单号', 'count'),
    平均金额=('金额', 'mean'),
    总金额=('金额', 'sum')
).sort_values('订单数', ascending=False)
print(conversion)

〔3〕输出结果示例

支付方式    订单数       平均金额        总金额
微信支付   52341  128.45  6723456.78
支付宝    38215  115.62  4418923.45
银联卡    7892   135.28  1067456.32
其他      1552   142.87   221765.24

〔4〕导出结果

conversion.to_csv('payment_analysis.csv', encoding='utf-8-sig')