本平台聚焦Java应用在生产环境中的典型故障场景,从JVM崩溃、线程死锁、内存泄漏、GC频繁、应用无响应(CPU 100%)到NPE、404、500等隐性异常,提供系统化排查路径、可复用的诊断模板、实战工具链及预防机制,助力开发者快速定位根因、恢复服务、规避风险,构建高可用Java系统。
此类故障常见于启动阶段线程卡死于资源初始化、依赖服务阻塞、死锁前置条件满足但尚未触发(deadlock-in-wait),或Spring Boot自动配置陷入循环依赖。排查建议:
典型案例:某电商订单服务启动卡在"main" #1线程,jstack显示其卡在java.net.PlainSocketImpl.socketConnect,最终定位为Redis哨兵节点地址配置错误,客户端无限重试连接。修复后启动时间从3分钟降至18秒。
内存泄漏指程序中已动态分配的堆内存因无引用路径而无法被GC回收,长期运行导致堆占用持续增长;内存溢出(java.lang.OutOfMemoryError)是泄漏的最终结果。关键区别在于:
确认泄漏需通过堆快照分析:使用jmap -dump:live,format=b,file=heap.hprof
真实案例:某金融风控服务因缓存键未设置过期时间,且每次请求新建HashMap放入ThreadLocal,导致线程池线程长期持有大量HashMap实例。堆分析显示HashMap$Node数量超870万,单实例平均128字节,总泄漏约1.1GB。修复方案:改用Caffeine缓存+设置,泄漏消除。
GC频繁通常由短命大对象、对象晋升过快、元空间溢出或Metaspace泄漏导致。诊断四步法:
优化建议:对短命大对象(如JSON反序列化)使用对象池或DirectByteBuffer;对String拼接使用StringBuilder;对Class元数据泄漏(如动态代理、脚本引擎)禁用-XX:+UseCGroupMemoryLimitForHeap并增大Metaspace。
堆内存用于存放对象实例,其大小由-Xms与-Xmx控制。当堆无法为新对象分配足够空间且GC无法回收时抛出OOM。
典型触发场景:
修复示例:某日志服务因未限制日志缓冲区大小,单线程写入10万条/秒日志,StringBuilder持续增长至1.2GB触发OOM。解决方案:引入BlockingQueue限流(capacity=1000)+异步刷盘,堆占用从1.8GB降至420MB。
每个线程消耗栈内存(默认1MB,-Xss控制),当线程总数超过系统限制(ulimit -u)或物理内存时触发。
关键指标:
| 指标 | 单位 | 典型阈值 | 风险 |
|---|---|---|---|
| 线程数 | count | <2000 | 超过ulimit -u(如1024)立即报错 |
| 栈大小 | KB | 512~1024 | 过小导致StackOverflowError;过大加速OOM |
| 线程池队列 | capacity | 有界(如LinkedBlockingQueue(100) | 无界队列(newLinkedBlockingQueue())易耗尽内存 |
案例:某网关服务为每个请求创建新线程(new Thread().start()),高并发下线程数达3.2万,触发unable to create new native thread。改用ThreadPoolExecutor(核心100,最大500,队列1000),线程数稳定在600以内。
JDK8+中类元数据存储于Metaspace(本地内存),若动态生成大量类(如CGLIB代理、脚本引擎),且Class未被卸载,将导致Metaspace耗尽。
诊断命令:
关注Loaded列是否持续增长(正常应稳定)。若增长,执行:
定位高频率生成类的来源。
修复方案:
Concurrent Mode Failure(CMF)指CMS在并发标记阶段未完成时,老年代已被填满,被迫触发Serial Old(单线程Full GC),导致应用停顿极长(秒级)。根本原因:
解决方案:升级至G1(-XX:+UseG1GC),其通过Region划分避免碎片;或调整-XX:CMSInitiatingOccupancyFraction=60提前触发。
从异常堆栈判断:
对DirectByteBuffer泄漏,可通过jstat -gc
确保问题可复现(如压测触发),并隔离环境(如切换流量至备用集群),避免故障扩散。使用curl -s http://localhost:8080/actuator/health验证服务可用性。
执行以下命令获取关键指标:
重点关注: Young GC频率(YGCT)、Full GC次数(FGCT)、线程CPU使用率(%CPU)、连接数是否超限。
执行jstack
使用grep "BLOCKED" thread_dump.log | wc -l快速统计阻塞线程数。
若怀疑内存泄漏,执行:
用Eclipse MAT打开后:
根据分析结果修复代码或调整参数,并通过压测验证。建议在测试环境模拟相同流量模型,确认指标稳定(GC停顿<100ms、堆占用<80%)。
用于分析线程状态、锁竞争、死锁。常用参数:
死锁检测:执行后搜索"Found one Java-level deadlock"。
生成堆快照,配合MAT使用。注意:-dump:live仅包含存活对象,节省空间。
命令:jstat -gcutil
| 列 | 含义 | 风险阈值 |
|---|---|---|
| S0/S1 | Survivor区使用率 | >90% |
| E | Eden区使用率 | >95% |
| O | 老年代使用率 | >75% |
| M | 元空间使用率 | >80% |
| YGC/YGCT | Young GC次数/耗时 | 次数突增 |
| FGC/FGCT | Full GC次数/耗时 | >1次/10分钟 |
支持实时监控CPU/内存/线程,生成heap dump和cpu profile。启动命令:jvisualvm。
无需重启,支持trace、watch、tt(时间旅行)等命令。例如:
现象:高并发下单时,CPU飙升至100%,GC频繁,响应超时。
诊断:jstack显示大量线程卡在java.util.regex.Pattern$Curly.match,确认正则表达式回溯爆炸(如"(a+)+$"匹配长字符串)。
修复:
效果:CPU降至35%,P99延迟从2.8s降至120ms。
现象:每小时约3次回调失败,HTTP 500,但服务日志无Exception。
诊断:通过Arthas的monitor命令发现com.alipay.sdk.pay包抛出NullPointerException,但被try-catch捕获后未记录堆栈。
修复:在catch块添加log.error("Pay error", e),定位为第三方SDK版本不兼容导致resp对象为null。
经验:生产环境日志需记录完整异常栈,避免静默失败。
现象:每日凌晨2:00任务延迟5~15分钟,日志显示Timer-0线程状态为TIMED_WAITING。
诊断:jstack发现Timer-0卡在java.net.SocketInputStream.socketRead0,超时时间默认0(无限等待)。
修复:
错误配置(如newFixedThreadPool)易导致资源耗尽。推荐:
关键点:
常见原因:
使用HikariCP时,检查:
若频繁报Connection leak detected,需检查代码中Connection是否在finally中关闭。