python将数据写入csv文件

蜀ICP备2026035467号-3 | www.xservx.com

1. python将数据写入csv文件基础认知

在数据处理领域,python将数据写入csv文件是每个开发者必须掌握的核心技能之一。CSV(Comma-Separated Values)格式因其简单、通用、跨平台的特性,成为数据交换的事实标准。无论是数据分析、机器学习模型训练前的数据准备,还是Web应用中的导出功能,python写入csv文件都扮演着关键角色。

在Python中,标准库提供了csv模块,专门用于处理CSV文件的读写操作。此外,第三方库pandas提供了更高级的DataFrame结构,极大简化了复杂数据的写入流程。掌握两种方式,能应对不同场景下的需求:

值得注意的是,许多初学者在首次使用python写入csv时,常因编码、换行、中文乱码等问题卡住。本文将系统梳理常见痛点,并提供经过生产环境验证的解决方案。

2. 标准csv模块写入方式详解

使用Python内置的csv模块,无需额外安装依赖,适合轻量级任务。核心函数包括:csv.writer()和csv.DictWriter()。

2.1 基础写入:使用writer对象

最基础的方式是通过csv.writer()创建写入器,配合write()或writerows()方法写入数据:

import csv
data = [
    ['姓名', '年龄', '城市'],
    ['张三', 28, '成都'],
    ['李四', 32, '重庆'],
    ['王五', 25, '贵阳']
]
with open('users.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerows(data)

关键点说明:

2.2 字典式写入:使用DictWriter

当数据结构为字典列表时,csv.DictWriter更清晰直观:

import csv
users = [
    {'姓名': '张三', '年龄': 28, '城市': '成都'},
    {'姓名': '李四', '年龄': 32, '城市': '重庆'},
    {'姓名': '王五', '年龄': 25, '城市': '贵阳'}
]
fieldnames = ['姓名', '年龄', '城市']
with open('users_dict.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.DictWriter(f, fieldnames=fieldnames)
    writer.writeheader()  # 写入表头
    writer.writerows(users)

优势:

2.3 自定义分隔符与引用规则

CSV格式并非只能用逗号分隔,通过delimiter参数可自定义:

with open('data.tsv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f, delimiter='\t', quoting=csv.QUOTE_MINIMAL)
    writer.writerows(data)

引用策略选项:

3. pandas高效写入方式

pandas是数据分析首选库,其DataFrame对象天然支持CSV导出,一行代码即可完成写入:

import pandas as pd
df = pd.DataFrame({
    '姓名': ['张三', '李四', '王五'],
    '年龄': [28, 32, 25],
    '城市': ['成都', '重庆', '贵阳']
})
df.to_csv('users_pandas.csv', index=False, encoding='utf-8-sig')

关键参数说明:

3.1 处理大数据量:分块写入

当数据量超过内存限制时,可采用分块写入策略:

import pandas as pd
# 模拟大数据集
def generate_data():
    for i in range(1000000):
        yield {'id': i, 'value': i * 1.5}
# 分块写入
with open('big_data.csv', 'w', encoding='utf-8') as f:
    first_chunk = True
    for chunk in pd.read_csv('source.csv', chunksize=10000):
        chunk['new_col'] = chunk['value'] * 2
        chunk.to_csv(f, index=False, header=first_chunk, mode='a')
        first_chunk = False

此方法避免一次性加载全部数据,显著降低内存占用。

3.2 多Sheet导出(Excel兼容)

虽然CSV无Sheet概念,但可生成Excel文件用于兼容:

with pd.ExcelWriter('output.xlsx', engine='openpyxl') as writer:
    df1.to_excel(writer, sheet_name='用户', index=False)
    df2.to_excel(writer, sheet_name='订单', index=False)

实际项目中,常用于将分析结果一键导出为Excel报表。

4. 编码与中文处理深度解析

python写入csv中文乱码是高频问题,根源在于不同软件对编码的默认处理不一致:

4.1 编码差异全景图

场景推荐编码说明
Python终端/文本编辑器utf-8通用标准
Excel(中文版)utf-8-sig带BOM头,自动识别中文
Linux服务器日志utf-8避免BOM干扰脚本
旧系统兼容gbk/gb2312仅限国内环境

4.2 实用解决方案

方案一:统一用utf-8-sig(推荐)

df.to_csv('data.csv', encoding='utf-8-sig', index=False)

方案二:写入时手动添加BOM

import codecs
with open('data.csv', 'w', encoding='utf-8', newline='') as f:
    f.write(codecs.BOM_UTF8.decode('utf-8'))
    writer = csv.writer(f)
    writer.writerows(data)

方案三:Excel打开后另存为(临时方案)

在Excel中打开乱码CSV → 点击“数据”→“从文本/CSV导入” → 选择65001: Unicode (UTF-8) → 点击“加载”。

4.3 日期与时间戳格式处理

默认时间戳会以数字形式存储,需显式格式化:

df['timestamp'] = pd.to_datetime(df['timestamp']).dt.strftime('%Y-%m-%d %H:%M:%S')
df.to_csv('data.csv', index=False)

或使用date_format参数:

df.to_csv('data.csv', index=False, date_format='%Y/%m/%d')

5. 常见错误与解决方案

错误一:UnicodeEncodeError
错误二:空行问题
错误三:中文乱码
错误四:字段包含逗号

错误现象:

UnicodeEncodeError: 'charmap' codec can't encode characters in position 0-3

原因:

Windows系统默认编码为gbk,而Python尝试用gbk编码含中文的字符串。

解决方案:

  • 始终显式指定encoding='utf-8';
  • 使用utf-8-sig确保Excel兼容;
  • Windows环境下避免用open('file.csv', 'w')直接写入,改用open(..., encoding='utf-8', newline='')。

错误现象:

生成的CSV文件每两行之间插入一个空行。

原因:

Windows下文本模式默认将\n转换为\r\n,而csv模块又添加了\r\n,导致双换行。

解决方案:

with open('data.csv', 'w', newline='', encoding='utf-8') as f:  # 关键:newline=''
    writer = csv.writer(f)
    writer.writerows(data)

错误现象:

用Excel打开CSV,中文显示为乱码(如“ÎÞ·¨±àÂë”)。

解决方案:

  • 写入时用encoding='utf-8-sig';
  • 在Excel中通过“数据”→“从文本/CSV导入”选择UTF-8;
  • 或用Notepad++另存为UTF-8 with BOM格式。

错误现象:

字段含逗号时被错误拆分,例如"北京, 海淀区"被拆成两列。

解决方案:

  • 使用quoting=csv.QUOTE_ALL强制加引号;
  • 或手动转义:value.replace(',', ',');
  • 优先用pandas,其自动处理引号转义。

6. 性能优化与生产级实践

当处理百万级数据时,python将数据写入csv文件的效率至关重要。以下为实测有效的优化策略:

6.1 批量写入 vs 行级写入

实测数据(10万行):

方式耗时(秒)内存(MB)
循环writerow()12.728
一次性writerows()3.2156
分块写入(1万/块)4.132

结论:优先用writerows(),超大数据集用分块策略。

6.2 使用更快的CSV引擎

pandas 2.0+支持engine='pyarrow',性能提升300%:

df.to_csv('data.csv', index=False, engine='pyarrow')

需提前安装:pip install pyarrow

6.3 压缩导出(节省存储)

直接写入压缩文件,避免二次压缩:

import gzip
import csv
with gzip.open('data.csv.gz', 'wt', encoding='utf-8', newline='') as f:
    writer = csv.writer(f)
    writer.writerows(data)

读取时自动解压:

with gzip.open('data.csv.gz', 'rt', encoding='utf-8') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

6.4 进度条与异常恢复

import csv
from tqdm import tqdm
with open('large.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    total = len(data)
    for i, row in enumerate(tqdm(data, total=total)):
        try:
            writer.writerow(row)
        except Exception as e:
            print(f"第{i+1}行错误: {e}")
            continue