生产环境部署要点:
① 使用uvicorn(ASGI服务器)替代run()
② 启用gunicorn多进程管理(-k uvicorn.workers.UvicornWorker)
③ 配置反向代理(Nginx)处理SSL终止
④ 启用HTTP/2提升多路复用性能
性能调优参数:
实测数据:
● 单进程同步服务器:1000并发QPS≈1500
● 4进程异步服务器(Nginx+Gunicorn):1000并发QPS≈12000
● 提升原因:异步I/O+连接复用+内核优化
异步队列是协程间通信的核心组件,支持:
① FIFO/LIFO模式
② 任务计数器(task_done())
③ 上下文安全(async with)
生产者-消费者模型:
关键特性:
● queue.put()在队列满时自动挂起
● queue.get()在队列空时自动挂起
● 通过task_done()与join()实现同步
PriorityQueue:按优先级处理任务,适用于:
LifoQueue:后进先出,适用于:
当单机asyncio.Queue无法满足需求时,可使用Redis Stream实现分布式队列:
优势:
① 跨进程/跨机器通信
② 持久化保障消息不丢失
③ 支持消费者组(Consumer Groups)
| 瓶颈类型 | 诊断工具 | 解决方案 |
|---|---|---|
| 事件循环阻塞 | loop.call_soon监控 |
将CPU密集操作移至线程池 |
| 连接池耗尽 | asyncpg` pool stats |
动态调整max_size参数 |
| 内存泄漏 | tracemalloc |
检查未关闭的连接/文件描述符 |
| 任务积压 | asyncio.all_tasks() |
增加工作进程或优化协程逻辑 |
实测案例:
某API服务在1000并发下响应时间从200ms升至2s,通过asyncio.set_debug(True)发现:
① 主要瓶颈:数据库连接池大小不足(原为5,需增至20)
② 次要瓶颈:JSON序列化阻塞(改用ujson解决)
1. 对象池模式
避免频繁创建/销毁大对象:
2. 异步生成器流式处理
大文件处理时避免加载全部内容:
1. wrk:HTTP基准测试工具
wrk -t4 -c1000 -d30s http://localhost:8000
2. pytest-asyncio:异步测试框架
3. py-spy:性能分析器
py-spy record -o profile.svg -- python app.py
time.sleep(1)在协程中await asyncio.sleep(1)
await捕获task = asyncio.create_task(coro()); await task
async with或finally确保关闭
1. 启用调试模式
asyncio.set_event_loop_policy(asyncio.DebugEventLoopPolicy())
或设置环境变量:PYTHONASYNCIODEBUG=1
2. 检测阻塞操作
loop.slow_callback_duration = 0.01
当回调执行超时0.01秒时触发警告
3. 任务堆栈追踪
asyncio.create_task(coro()).get_stack()
获取协程当前调用栈