Python怎么读取JSON文件|从零基础到实战高手

一、JSON文件在Python开发中的核心地位

在现代软件开发中,JSON(JavaScript Object Notation)已成为数据交换的事实标准格式。它以轻量级、易读、语言无关的特性,广泛应用于Web API、配置文件、数据持久化等场景。对于Python开发者而言,熟练掌握Python怎么读取JSON文件是必备技能之一。

从Python 2.6起,标准库已内置json模块,无需额外安装即可使用。该模块提供完整、高效的JSON处理能力,支持编码(Python对象→JSON字符串)和解码(JSON字符串→Python对象)两大核心功能。

为何JSON成为主流数据格式?

  • ⚡ 人类可读:采用键值对结构,格式清晰直观,便于调试和手动编辑
  • ⚙️ 语言无关:所有主流编程语言均提供JSON解析支持
  • 〔结构简洁〕:仅支持6种数据类型(对象、数组、字符串、数字、布尔值、null)
  • 〈生态完善〉:RESTful API、微服务通信、配置管理等场景标配

随着Python怎么读取JSON文件需求的不断演进,开发者已衍生出多种技术方案,从基础的内置模块到高性能第三方库,覆盖不同场景的性能与易用性需求。本文将系统梳理各方法的原理、适用场景及实战技巧。

二、基础方法:内置json模块详解

Python标准库中的json模块提供两大核心函数:json.loads()(读取JSON字符串)和json.load()(读取JSON文件对象),这是最基础且最通用的Python怎么读取JSON文件方式。

基础读取流程

读取本地JSON文件的标准三步流程:

  1. 使用open()以文本模式打开文件
  2. 调用json.load()解析文件对象
  3. 处理返回的Python字典或列表对象
import json # 读取本地JSON文件 with open('config.json', 'r', encoding='utf-8') as f: data = json.load(f) # 验证数据结构 print(type(data)) # print(data['database']['host']) # 访问嵌套键值

注意:JSON文件必须以UTF-8编码保存,否则可能触发编码错误。建议始终显式指定encoding='utf-8'参数。

中文编码问题处理

当JSON文件包含中文字符时,若未正确处理编码,可能出现乱码或报错。以下是三种常见解决方案:

  • ① 使用encoding='utf-8'参数(推荐)
  • ② 确保JSON文件本身为UTF-8编码(编辑器中检查)
  • ③ 对于含BOM的文件,使用utf-8-sig编码
# 方案1:显式指定UTF-8编码(最常用) with open('chinese_data.json', 'r', encoding='utf-8') as f: data = json.load(f) # 方案2:处理含BOM的UTF-8文件 with open('bom_utf8.json', 'r', encoding='utf-8-sig') as f: data = json.load(f) # 方案3:自动检测编码(需额外库) import chardet with open('unknown_encoding.json', 'rb') as f: raw = f.read() encoding = chardet.detect(raw)['encoding'] with open('unknown_encoding.json', 'r', encoding=encoding) as f: data = json.load(f)

💡 最佳实践:开发时统一使用UTF-8编码,避免跨平台兼容性问题。

常见错误及处理

读取JSON时可能遇到三类典型错误:

1. JSONDecodeError:格式错误

原因:JSON语法不合法(如缺少逗号、引号不匹配)

try: with open('invalid.json', 'r') as f: data = json.load(f) except json.JSONDecodeError as e: print(f"JSON格式错误:{e}") # 输出:JSON格式错误:Expecting property name enclosed in double quotes: line 1 column 2 (char 1)

2. FileNotFoundError:文件不存在

import os file_path = 'config.json' if not os.path.exists(file_path): print(f"文件不存在:{file_path}") else: with open(file_path, 'r') as f: data = json.load(f)

3. UnicodeDecodeError:编码错误

try: with open('data.json', 'r') as f: data = json.load(f) except UnicodeDecodeError: # 自动尝试常见编码 for enc in ['utf-8', 'gbk', 'gb2312']: try: with open('data.json', 'r', encoding=enc) as f: data = json.load(f) break except UnicodeDecodeError: continue

三、进阶方法:高性能与特殊场景方案

当处理大规模JSON数据时,内置json模块可能性能不足。以下三种方案可显著提升Python怎么读取JSON文件效率:

1. orjson:极致性能方案

基于Rust开发的orjson模块,性能是内置json的5-10倍,支持二进制数据序列化,是高并发场景首选。

import orjson # 读取JSON文件(返回bytes需手动解码) with open('data.json', 'rb') as f: data = orjson.loads(f.read()) # 读取并自动处理编码(推荐) data = orjson.loads(open('data.json', 'rb').read()) # 支持自定义序列化(处理datetime等类型) def default(obj): if isinstance(obj, datetime): return obj.isoformat() raise TypeError data = orjson.loads(json_str, option=orjson.OPT_SERIALIZE_DATACLASSES)

⚡ 性能对比:处理10MB JSON文件时,orjson耗时约20ms,内置json约120ms。

2. ujson:轻量级替代方案

基于libuv开发的ujson,提供与内置json相似的API,性能提升约3-5倍,安装简单。

import ujson # 基本用法与json模块一致 with open('data.json', 'r') as f: data = ujson.load(f) # 支持流式读取 with open('large.json', 'r') as f: for line in f: data = ujson.loads(line)

⚠️ 注意:ujson不支持Python 3.12+,建议新项目使用orjson替代。

3. json5:宽松语法支持

当JSON文件需支持注释、单引号等JavaScript风格语法时,使用json5模块,适合配置文件场景。

import json5 # 支持注释、单引号、尾逗号等 json5_str = """ { // 配置项说明 name: 'Python', // 字符串无需双引号 version: '3.11', features: ['json', 'web', 'data'] // 尾逗号合法 } """ data = json5.loads(json5_str)

〔适用场景〕:前端配置文件、开发环境配置等需人工编辑的JSON。

四、数据处理场景:pandas读取JSON

当JSON文件需直接转换为DataFrame进行数据分析时,pandas.read_json()提供高效解决方案,特别适合结构化JSON数据。

基础DataFrame转换

import pandas as pd # 直接读取JSON文件 df = pd.read_json('data.json') # 读取JSON字符串 json_str = '[{"name":"Alice","age":25},{"name":"Bob","age":30}]' df = pd.read_json(json_str) # 查看数据 print(df.head()) print(df.dtypes)

优势:自动处理列表结构,直接生成DataFrame;支持多种orient参数控制解析方式。

嵌套JSON扁平化

处理嵌套JSON时,使用json_normalize()可深度展开层级结构:

from pandas import json_normalize # 原始嵌套数据 nested_data = [ { "id": 1, "user": {"name": "Alice", "contact": {"email": "alice@test.com"}}, "orders": [{"id": 101, "amount": 99.9}, {"id": 102, "amount": 149.5}] } ] # 扁平化用户信息 df_users = json_normalize(nested_data, record_path='orders', meta=['id', ['user', 'name'], ['user', 'contact', 'email']]) # 结果:4列(id, user.name, user.contact.email, orders.id, orders.amount)

〔适用场景〕:API返回的嵌套数据、多级配置信息等。

超大数据集流式读取

对GB级JSON文件,使用lines=True参数实现逐行读取:

# 每行一个JSON对象(NDJSON格式) chunks = pd.read_json('large_file.json', lines=True, chunksize=10000) for chunk in chunks: # 分块处理数据 chunk['amount'] = chunk['amount'].apply(lambda x: round(x, 2)) # 合并结果或写入数据库

⚠️ 注意:需确保JSON文件为NDJSON格式(每行独立JSON对象),否则需先预处理。

五、错误排查:常见问题解决方案