CS-Wiki CS-Wiki
Home
知识体系总览
  • 数据结构与算法
  • 计算机网络
  • 操作系统
  • MySQL
  • Redis
  • 设计模式
  • Java 基础
  • Java 集合
  • Java 并发
  • Java 虚拟机
  • Spring
  • Kafka
  • 校招扫盲
  • 项目推荐
  • 唠唠嗑儿
  • 读书笔记
归档
GitHub (opens new window)
Home
知识体系总览
  • 数据结构与算法
  • 计算机网络
  • 操作系统
  • MySQL
  • Redis
  • 设计模式
  • Java 基础
  • Java 集合
  • Java 并发
  • Java 虚拟机
  • Spring
  • Kafka
  • 校招扫盲
  • 项目推荐
  • 唠唠嗑儿
  • 读书笔记
归档
GitHub (opens new window)
  • 线上环境 CPU 使用率飙升如何快速排查?
    • 模拟高 CPU 场景
    • 排查步骤
      • 1. 找到占用 CPU 最高的进程
      • 2. 找到占用 CPU 最高的线程
      • 3. 打印线程堆栈信息
  • 150-线上运维
小牛肉
2023-03-05
目录

线上环境 CPU 使用率飙升如何快速排查?

相比于一大堆复杂的 JVM 调优过程,本文介绍的排查步骤还是挺简单的,可以帮助各位小伙伴排查一些简单问题,面试官问起来也好过啥也不会(这个 CPU 打满如何排查我被问过好多次......)。

# 模拟高 CPU 场景

这里就不麻烦地建 Web 项目了,用一个最原始的 Java 项目来模拟高 CPU 场景。打开 IDEA,创建一个 Java 项目,里面写一个死循环,循环里面不断地创建对象:

然后打成 jar 包,这个没啥难度,懒得敲命令的话直接 IDEA 中点几下就可以,File -> Project Settings -> Artifacts:

执行成功后可以在 /out/artifacts/highCpuTest.jar 文件夹下找到 jar 包:

将这个 jar 包上传到服务器中并运行(我是上传到 /home/test 目录下了)。为了防止把服务器搞崩,我选择利用 Docker 运行,并限制了最大内存 200M。具体步骤如下:

首先拉取 JDK 镜像并创建一个名为 high-cpu-test 的容器:

# 拉取镜像
docker pull openjdk:8
# 创建并运行容器(-m 200m,设置最大内存 200m)
docker run -d -it --name high-cpu-test  -m 200m openjdk:8

然后将 /home/test/hightCpuTest.jar 复制到 high-cpu-test 容器中的 home 目录下:

# 将 /home/test/hightCpuTest.jar 复制到 high-cpu-test 容器中的 home 目录下
docker cp /home/test/highCpuTest.jar high-cpu-test:/home

这样就可以在 Docker 中执行这个 jar 包了:

# 进入容器内部
docker exec -it high-cpu-test bash

# 执行 jar 包
cd /home
java -jar highCpuTest.jar

# 排查步骤

你可以选择另开一个终端然后进入 high-cpu-test 容器内部执行以下步骤

# 1. 找到占用 CPU 最高的进程

首先第一步,利用 top 命令监控 CPU 运行状态,显示进程运行信息,看看到底是哪些进程占用了大量 CPU:

top -c

可以键入大写的 P,使得进程按照 CPU 使用率排序:

可以看到目前占用 CPU 最多的进程的 PID 是 85,遥遥领先于其他进程。

# 2. 找到占用 CPU 最高的线程

虽然找到了占用 CPU 最高的进程 PID 是 85,但并不能直接就开始定位代码了,因为一个进程中有很多线程,不可能所有线程都占用了大量 CPU,所以我们现在要做的就是找出 PID 85 这个进程中占用 CPU 最高的线程。

执行 top -Hp pid 命令,pid 就是上面我们排查出来的进程 PID:

top -Hp 85

然后同样的,键入大写 P,使得线程按照 CPU 使用率排序:

可以看到目前占用 CPU 最多的进程的 PID 是 95,遥遥领先于其他线程。

# 3. 打印线程堆栈信息

接下来我们要做的就是打印出 PID 95 这个线程的堆栈信息,然后根据堆栈信息定位代码。

首先,需要通过 printf 命令将 PID 95 转化成 16 进制,因为堆栈里的线程 PID 是用 16 进制表示的

printf "%x\n" 95

得到 16 进制的线程 PID 为 0x5f。这样,就可以通过 jstack 命令查看堆栈信息了:

# jstack 进程 PID | grep '线程 16 进制 PID' -C20
jstack 85 | grep '0x5f' -C20

-C<显示行数> : 除了显示符合样式的那一行之外,并显示该行之前后的内容

执行结果如下图所示:

如上图打印出了线程的堆栈信息,可以看到,定位到了 highCpuThread 线程中的 lambda 代码,具体在第 15 行。Over~


不知道怎么写简历、或者觉得自己简历没有亮点,项目太简单的小伙伴,可以找我进行简历修改哦,我可以帮助你短时间内挖掘项目中的一些重难点,帮助你有东西和面试官对线,初版简历修改意见大概会有两千多字,并且一直负责到最终版。除此之外,有其他困惑和问题都可以随时和我交流,知无不言,可以点击这里查看具体的 “简历修改” 服务 (opens new window)

🎁 公众号

各位小伙伴大家好呀,叫我小牛肉就行,目前在读东南大学硕士,上方扫码关注公众号「飞天小牛肉」,与你分享我的成长历程与技术感悟~

帮助小牛肉改善此页面 (opens new window)
Last Updated: 2023/03/14, 15:26:21
最近更新
01
02
面试官再跟你说中国没有根服务器,雪人计划让他了解下
02-23
03
背了一年的计网八股,还不知道什么是 Socket?
02-16
更多文章>
Theme by Vdoing | Copyright © 2019-2023 飞天小牛肉 | 皖ICP备2022008966号
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式