步骤三:用ps找D状态任务
完整命令:
ps -eo pid,stat,wchan:24,comm
这条命令会列出所有任务。要快速定位问题,可以只筛选D状态:
ps -eo pid,stat,wchan:24,comm | awk 'NR==1 || $2 ~ /^D/'
实机输出节选:
PID STAT WCHAN COMMAND
910585 D rpc_wait_bit_killable cat
910586 D rpc_wait_bit_killable cat
910587 D rpc_wait_bit_killable cat
910588 D rpc_wait_bit_killable cat
...
910604 D rpc_wait_bit_killable cat
910611 D rpc_wait_bit_killable 127.0.0.1-manag
四列分别表示:
| 字段 | 含义 |
|---|
PID | 进程编号 |
STAT | 进程状态,D表示不可中断睡眠 |
WCHAN | 任务正在等待的内核函数或等待位置 |
COMMAND | 进程或任务名称 |
本次20个cat进程全部进入D状态,另外还出现一个NFS相关的等待任务,总数21个。
rpc_wait_bit_killable可以拆开理解:
RPC:远程过程调用,程序向另一端请求执行操作并等待结果。
wait:等待。
killable:内核等待函数名称中的一部分,表示使用可响应特定终止信号的等待机制。
这次它出现在NFS文件读取过程中,所以接下来沿着NFS链路查。
步骤四:检查NFS挂载、网络和存储服务
先找NFS挂载点:
本次实验挂载的是:
/mnt/nfs-lab 127.0.0.1:/srv/nfs-lab nfs4
再看挂载参数:
实机关键参数:
/mnt/nfs-lab from 127.0.0.1:/srv/nfs-lab
Flags: ... vers=4.2,hard,proto=tcp,timeo=50,retrans=2,addr=127.0.0.1
这些参数的意思:
vers=4.2:使用NFS 4.2协议。
proto=tcp:通过TCP通信。
hard:请求失败后持续重试,等待服务端恢复。
timeo=50:NFS请求的基础超时值为5秒,单位是十分之一秒。
retrans=2:达到指定重传次数后进入后续恢复处理;hard挂载仍会继续尝试完成请求。
这次实验是在本机拦截NFS端口2049,模拟存储服务无法响应。 所以我们直接查看实验防火墙规则:
iptables -S OUTPUT | grep nfs-d-lab
故障期间输出:
-A OUTPUT -d 127.0.0.1/32 -p tcp -m tcp --dport 2049 -m comment --comment nfs-d-lab -j DROP
这就找到原因了:NFS客户端发往2049端口的请求被DROP规则丢弃,进程一直等RPC请求返回。
生产环境还要顺着这一条链路查:
- 用
findmnt找到真正的NFS服务器地址和挂载路径。
- 检查客户端到服务器的网络路由、防火墙和2049端口。
- 检查NFS服务器服务状态、资源使用情况和共享目录。
- 结合客户端与服务端抓包,定位请求卡在哪一段。
查看NFS端口连接:
在有tcpdump的机器上抓包:
tcpdump -ni any 'tcp port 2049'
抓包要关注:请求有没有发出、对端有没有回复、TCP是否持续重传。
现场提醒: 已经卡住的NFS挂载点,执行ls、cat、df等命令也可能卡住。先查挂载信息、网络和服务端状态。
步骤五:如果等待位置指向本地磁盘IO
执行:
重点看:
| 字段 | 说明 | 怎么判断 |
|---|
r/s、w/s | 每秒读写请求次数 | 读写请求是否突然增加 |
r_await、w_await | 读写请求平均耗时,单位毫秒 | 数值持续上升,说明读写响应变慢 |
aqu-sz | 平均排队的IO请求数量 | 持续较高说明请求积压 |
%util | 设备处理IO的忙碌时间比例 | 对机械盘等串行设备有参考价值,需要结合延迟一起看 |
再查内核有没有磁盘错误:
journalctl -k --no-pager | grep -Ei 'I/O error|blk_update_request|reset|timeout|ext4|xfs' | tail -40
iostat查读写速度、排队和延迟;磁盘坏道、硬件错误要结合内核日志、SMART或存储设备告警查。
本次演示的是NFS网络请求阻塞,本地磁盘指标可能很正常。这部分用于说明生产上遇到其他D状态等待点时的排查方法。
03 实机故障复现与恢复
1. 实验环境
| 项目 | 配置 |
|---|
| 操作系统 | Ubuntu 22.04.5 LTS |
| 内核版本 | 5.15.0-198-generic |
| CPU/内存 | 4核、约8GB |
| 虚拟化 | VMware |
| NFS | 本机同时充当服务端和客户端,NFS 4.2 |
| 共享目录 | 服务端/srv/nfs-lab |
| 挂载目录 | 客户端/mnt/nfs-lab |
| 故障方式 | 用iptables丢弃本机发往TCP 2049的NFS请求 |
在独立的实验虚拟机里操作,先做好快照。下面的故障不会自动恢复,需要手动删除规则。
2. 安装软件
apt update && apt install -y nfs-kernel-server nfs-common sysstat
nfs-kernel-server:NFS服务端。
nfs-common:NFS客户端工具。
sysstat:提供iostat等性能分析命令。
3. 创建NFS共享
mkdir -p /srv/nfs-lab /etc/exports.d
echo 'NFS test' > /srv/nfs-lab/test.txt
echo 'NFS LAB' > /srv/nfs-lab/probe-test-001
printf '%s\n' '/srv/nfs-lab 127.0.0.1(rw,sync,no_subtree_check,insecure)' > /etc/exports.d/nfs-lab.exports
systemctl start nfs-server
exportfs -ra
exportfs -v
配置只允许本机地址127.0.0.1访问共享目录。
如果机器已有NFS服务,先检查现有配置再操作,避免影响别的共享。
4. 挂载并验证正常访问
mkdir -p /mnt/nfs-lab
mount -t nfs -o vers=4,hard,timeo=50,retrans=2 127.0.0.1:/srv/nfs-lab /mnt/nfs-lab
findmnt /mnt/nfs-lab
cat /mnt/nfs-lab/test.txt
正常输出:
这一步完成后,先确认正常读取,再开始拦截通信。
5. 制造故障:20个进程访问无响应NFS
建议使用两个SSH窗口:一个执行故障模拟与恢复命令,另一个观察系统指标。
执行:
iptables -I OUTPUT 1 -d 127.0.0.1 -p tcp --dport 2049 \
-m comment --comment nfs-d-lab -j DROP
for i in $(seq 1 20); do
cat /mnt/nfs-lab/probe-test-001 >/dev/null &
done
这20个cat进程会尝试读取NFS文件。因为NFS通信被拦截,请求持续等待,进程进入D状态。
不要重复执行添加规则的命令。 重复添加会产生多条DROP规则,恢复时要逐条删除。
6. 实验结果
故障期间:
load average: 16.67, 5.85, 2.13
%Cpu(s): 2.2 us, 6.7 sy, 91.0 id, 0.0 wa
D状态任务:
PID STAT WCHAN COMMAND
910507 D rpc_wait_bit_killable cat
910508 D rpc_wait_bit_killable cat
...
910526 D rpc_wait_bit_killable cat
910528 D rpc_wait_bit_killable 127.0.0.1-manag
统计结果:
| 指标 | 实际结果 |
|---|
| 1分钟Load | 16.67 |
| CPU空闲率 | 91% |
| D状态任务数 | 21 |
| 内核等待点 | rpc_wait_bit_killable |
vmstat的r、b | 0、0 |
| 故障根因 | TCP 2049被实验防火墙规则丢弃,NFS请求持续等待 |
这组数据直接证明:CPU很空闲,系统Load照样能被大量D状态任务推高。
7. 手动恢复
实验结束后,执行:
iptables -D OUTPUT -d 127.0.0.1 -p tcp --dport 2049 \
-m comment --comment nfs-d-lab -j DROP
然后检查:
iptables -S OUTPUT | grep nfs-d-lab || echo '实验规则已删除'
ps -eo pid,stat,comm | awk '$2 ~ /^D/'
cat /mnt/nfs-lab/test.txt
uptime
实际恢复结果:实验规则消失,20个cat进程陆续结束,D状态任务清空,NFS重新返回NFS test。
Load是平均值,故障解除后会逐步下降,不会立刻变成0。
恢复时先删DROP规则,再访问NFS目录。 遇到多条重复实验规则,需要全部删完。
04 常用排查命令速查表
| 检查内容 | 命令 |
|---|
| 当前Load与运行时长 | uptime |
| CPU、Load和进程状态 | top |
| CPU队列与IO阻塞统计 | vmstat 1 |
| 全部进程状态与等待位置 | ps -eo pid,stat,wchan:24,comm |
| 只看D状态任务 | ps -eo pid,stat,wchan:24,comm | awk 'NR==1 || $2 ~ /^D/' |
| D状态任务数量 | ps -eo stat= | awk '$1 ~ /^D/ {n++} END {print n+0}' |
| 所有NFS挂载 | findmnt -t nfs,nfs4 |
| 查看指定NFS挂载 | findmnt /mnt/nfs-lab |
| NFS挂载详细参数 | nfsstat -m |
| TCP 2049连接 | ss -tn | grep ':2049' |
| 抓取NFS网络包 | tcpdump -ni any 'tcp port 2049' |
| 磁盘IO性能 | iostat -xz 1 3 |
| 最近内核磁盘错误 | journalctl -k --no-pager | grep -Ei 'I/O error|timeout|reset' | tail -40 |
| 检查本次实验规则 | iptables -S OUTPUT | grep nfs-d-lab |
| 实验后检查Load | uptime |
05 面试回答:Linux负载很高,但CPU使用率很低,怎么排查?
遇到Linux系统负载很高,但CPU使用率很低的情况,我会先用top确认Load和CPU空闲率。
因为Linux的Load会统计R状态和D状态任务。R表示正在运行或等待CPU,D表示进程在等待磁盘IO、网络存储等内核操作完成。
接着用vmstat 1查看r和b,判断CPU排队和IO阻塞情况。
然后用ps -eo pid,stat,wchan:24,comm找到D状态进程,通过WCHAN查看具体卡在内核的哪个位置。
如果卡在NFS相关的RPC等待上,就检查NFS挂载、存储服务器和网络连通性。
如果卡在本地磁盘IO上,就用iostat检查磁盘读写延迟、队列和利用率,再结合系统日志定位原因。
找到问题后,恢复对应的存储或网络服务,最后重新检查Load和进程状态,确认故障解除。
回答重点: 先解释原理,再说排查顺序。
06 面试追问与回答
Q1:Load Average的三个数字分别代表什么?
分别代表系统最近1分钟、5分钟和15分钟的平均负载。
Linux计算负载时,会统计正在运行、等待CPU运行以及处于不可中断睡眠状态的任务。
第一个数字反映近期变化,第二个看短期趋势,第三个看较长时间的负载情况。
Q2:为什么CPU使用率很低,Load却很高?
因为Linux的Load不仅统计正在使用CPU的任务,还会把D状态任务算进去。
比如大量进程正在等待磁盘IO或者NFS网络存储响应,这些进程虽然不占用CPU,但仍然会被计入系统负载。
所以排查高Load、低CPU的问题时,我会重点检查是否存在大量D状态进程。
Q3:Linux进程的R状态和D状态有什么区别?
R表示进程正在运行,或者已经准备好运行,正在等待CPU调度。
D表示进程处于不可中断睡眠状态,通常是在等待磁盘IO、网络存储等内核操作完成。
两种状态都会被Linux计入系统负载。
Q4:vmstat中的r、b、wa分别是什么意思?
r表示正在运行或者等待CPU的任务数量。
b表示等待IO完成的阻塞任务数量。
wa表示CPU处于IO等待状态的时间比例。
排查时,我会结合这三个指标判断CPU排队和IO等待情况,再通过ps查看具体进程状态。
Q5:D状态进程能直接用kill -9杀掉吗?
要看进程卡在什么内核操作上。
如果进程一直在等待底层IO,终止信号可能需要等内核操作恢复后才能生效。
生产环境中,我会先通过WCHAN查看进程的内核等待位置,找到对应的磁盘、存储或者网络问题。
恢复底层服务后,再检查进程是否正常退出。
07 Linux高Load只读检查脚本
脚本只读取系统负载、任务状态、NFS挂载和磁盘IO信息,不会添加防火墙规则,也不会制造故障。
保存为check_high_load.sh:
#!/usr/bin/env bash
printf '\n===== 系统与Load =====\n'
uptime
printf '\n===== CPU与进程概况 =====\n'
top -bn1 | head -n 5
printf '\n===== vmstat(每秒一次,共3次) =====\n'
vmstat 1 3
printf '\n===== D状态任务 =====\n'
ps -eo pid,stat,wchan:24,comm | awk 'NR==1 || $2 ~ /^D/'
printf '\n===== D状态任务数量 =====\n'
ps -eo stat= | awk '$1 ~ /^D/ {n++} END {print n+0}'
printf '\n===== NFS挂载点 =====\n'
findmnt -t nfs,nfs4 || true
printf '\n===== NFS挂载参数 =====\n'
if command -v nfsstat >/dev/null 2>&1; then
nfsstat -m
fi
printf '\n===== 磁盘IO =====\n'
if command -v iostat >/dev/null 2>&1; then
iostat -xz 1 2
fi
执行:
这个脚本用于快速收集系统负载、进程状态、NFS挂载和磁盘IO信息,便于定位故障。
08 生产处理要点与技术参考
1. 线上处理顺序
- 确认现象:
top看Load、CPU空闲率和故障发生时间。
- 找到任务:
ps找D状态任务,记录PID、进程名和WCHAN。
- 判断链路: NFS查挂载与网络;磁盘查IO性能、内核日志和存储告警。
- 定位根因: 把进程等待位置、服务日志、网络包和存储端状态对起来。
- 恢复服务: 修复网络或存储故障,观察阻塞进程退出。
- 复查指标: 确认业务请求恢复,CPU、D状态数量和Load逐步回落。
2. 本次实验的故障证据链
top: 1分钟Load为16.67,CPU空闲率为91%。
vmstat 1: r=0、b=0,CPU基本空闲;继续检查进程状态。
ps: 查到21个D状态任务,等待位置为rpc_wait_bit_killable。
findmnt与nfsstat -m: 发现相关进程访问的是NFS共享目录,使用TCP 2049通信。
iptables: 发现发往NFS端口的请求被DROP规则丢弃;移除规则后,读取恢复正常,阻塞进程退出。
3. 故障处理后的验证
恢复通信后,确认以下事项:
- NFS挂载目录可以正常读取。
- 原先处于D状态的测试进程已经退出。
- 防火墙中没有残留实验DROP规则。
- Load Average随时间逐步下降,业务访问恢复正常。
4. 技术参考资料