OOM问题如何定位和处理?

2 个回答

  • java小生
    见过花就好,何必在意花属于谁。

    OOM 先登录线上机器看日志,按异常类型和线程名定位,再顺着根因处理。这个案例是 Java heap space,原因是 RPC 超时时间设得太长,把每秒只有一百多个请求的 QPS 放大了好几倍,Tomcat 工作线程在堆里分配不出对象。

    一收到 OOM 报警,或者有人说系统崩了,第一件事就是看日志,不要先做别的。OOM 表示 JVM 已经没法继续运行,系统会直接崩溃。当时日志是这样一句:

    Exception in thread "http-nio-8080-exec-1089" java.lang.OutOfMemoryError: Java heap space
    

    http-nio-8080-exec-1089 是 Tomcat 的工作线程,Java heap space 指堆内存溢出。工作线程处理请求时要在堆里分配对象,堆已经满了,又回收不出多余对象,所以抛 OOM。

    Tomcat 本身就是一个 JVM 进程,业务代码只是被它加载进内存执行的类。它会准备少则一两百、多则三四百个工作线程,从 8080 端口收到的请求分给这些线程,再交给框架找到 Controller 去执行。线程名对得上,就能确定是请求处理过程中把堆打满的。

    这个案例还涉及 Tomcat 内核参数和服务请求超时。表面 QPS 只有一百出头,RPC 超时设得太长,实际并发被放大了好几倍,堆分配失败就报 Java heap space。定位时把异常类型、线程名和超时设置对上;处理要回到过长的 RPC 超时和 Tomcat 相关参数,超时过长把并发放大,才是这次堆被打满的原因。

    参考来源:https://zhuanlan.zhihu.com/p/17133979092
    发布于 2026-11-15 08:08 •IP属地 安徽
    举报
    评论
    收藏

  • 黄蓉
    外界的声音都是参考,你不开心就不要参考。

    先把方向定死:用 JVM 统计的堆用量和进程真实物理内存对比,确认是堆内还是堆外;是堆外就把没配对释放的直接内存补上 release,并显式把直接内存上限设死。
    别一上来就当业务对象泄漏。用 jstat -gc 看老年代 OU 和伊甸园 EU,再用 /proc 里的 VmRSS 看进程真实占用。堆用量远小于 RSS,堆就是清白的,差出来的是堆外。启动参数加上 -XX:NativeMemoryTracking=summary,再用 jcmd 看 VM.native_memory summary。Internal 和 Other 异常大,往往是 DirectByteBuffer 或者第三方 native 库。服务用 Netty 做 RPC 时,第一嫌疑就是直接内存。
    定位时把 Netty 的泄漏检测拉到最高。默认 SIMPLE 采样很低,抓不准。加上 -Dio.netty.leakDetection.level=PARANOID,或者在代码里把 ResourceLeakDetector 设成 PARANOID。这个级别会对每一个 ByteBuf 做引用追踪,有性能损耗,只在排查期开。跑一段时间,日志里出现 ByteBuf.release() was not called before it's garbage-collected,后面的调用栈就能指到漏释放的那一行。常见是自定义解码器在异常分支直接 return,那条路径上申请的 ByteBuf 忘了 release。正常包没问题,偶尔来个格式不对的包就漏一块,攒几天就 OOM。
    处理就是申请之后放进 try-finally,不管走哪个分支,退出都要 release。

    ByteBuf buf = allocator.directBuffer(len);
    try {
        decodeInternal(buf);
    } finally {
        buf.release();
    }
    

    凡是手动 directBuffer 或 allocateDirect 申请的,都必须配对释放,最好统一走 try-finally,或者按 Netty 的引用计数来,不要裸写。-XX:MaxDirectMemorySize 一定要显式设。不设的话默认大约等于 -Xmx,等于又给了堆外好几个 G,泄漏能憋很久才暴露。设成一个较小的值,比如 512M,再漏会更早抛出 OutOfMemoryError: Direct buffer memory,堆里还能留下线索,比进程被静默杀掉好查。

    参考来源:https://baijiahao.baidu.com/s?id=1881461129266024627&wfr=spider&for=pc
    发布于 2026-11-14 23:33 •IP属地 新疆
    举报
    评论
    收藏