Linux脚本跑完只看数,指标一多就误判,问题到底出在哪。
我最近在整理一个Linux资源采集脚本,越写越觉得重点不是命令多,而是数据能不能复现、比较和解释。CPU、内存、磁盘I/O都能采,可口径、采样窗口和输出格式没定清楚,判断就容易跑偏。先把指标说明白,再谈告警,才踏实。
脚本真正有用的地方,不是把top、free、iostat这些命令跑一遍,而是把结果整理成能复现、能比较、能解释的数据。临时排障和长期监控也不是一回事,前者要轻快,后者最好交给Prometheus、Zabbix这类平台。这个边界先想清楚,脚本才不会越写越乱。
写之前我先把指标口径定下来。CPU使用率是总量还是分项,内存是系统口径还是应用口径,磁盘I/O是设备级还是分区级,都得提前写明白。
采样窗口也要定,像CPU和I/O只看一次快照参考价值有限,通常得两次采样做差分。单位更不能混,字节、KB、MB、百分比、毫秒、每秒次数都要标出来。脚本还得低开销、输出结构化、设备名和采样间隔可配置。
脚本入口先检查bash、coreutils、procps、sysstat这些基础工具。iostat一般来自sysstat,没装就明确提示,不要让它静默失败。
CentOS/RHEL和Ubuntu/Debian安装方式不一样,正文里可以顺手写清楚。普通用户能读不少/proc信息,但有些命令和日志要root。容器和云主机也要注意,/proc、cgroup限制、设备名和虚拟磁盘都会影响指标解释。
我倾向把脚本分成配置、工具检测、采集、解析、输出和判断几层。取数就好好取数,别在采集函数里顺手下结论,不然出了问题很难查。主流程就是采集、解析、输出、退出码,异常写到stderr并返回非零,别让空值混过去。
CPU先看核数、型号和1、5、15分钟负载,负载高不高要结合核数解释。使用率可以看用户态、内核态、空闲、I/O等待和中断这些分项。
top单次快照直观,但字段位置受版本影响;/proc/stat两次差分更适合脚本,口径更可控。上下文切换、中断次数和运行队列也能帮助判断调度压力。
内存别只看free,Linux会把空闲内存拿去做缓存,buff/cache不是被浪费了。更该关注MemAvailable和Swap活动,Swap占着不一定坏,持续换入换出才更值得注意。free -m适合快速看,/proc/meminfo适合精细解析。
磁盘先分清容量问题和性能问题。df看空间使用率,iostat -dx看吞吐、请求速率、await、队列和设备利用率。
第一次iostat统计往往不能代表真实负载,要设置采样间隔取后面的结果。设备名有sda、vda、nvme0n1这些,过滤时别模糊匹配误伤。
await高可能是排队,也可能是设备服务时间;util高说明设备忙,但不一定业务已经受损。旧版svctm的解释要谨慎,不同版本差异挺大。脚本发现异常设备后,再拿pidstat、iotop往进程级定位,别一开始就把根因分析全塞进shell。
输出头我会带上时间戳、主机名、IP、内核版本、采样间隔和脚本版本。指标命名要统一,单位要标清,人工看用对齐表格,自动采集用key=value,平台接入用JSON。写文件要注意权限、轮转和磁盘占用,命令缺失、设备不存在、权限不足都要明确报错。
固定阈值只适合入门,生产环境更该看基线和持续时间。CPU高要结合负载、运行队列和I/O等待,内存紧要看可用内存、Swap活动和OOM日志,磁盘I/O要等util、await、队列同时不对劲才更值得关注。脚本可以输出关注项,但复杂根因分析别硬写死,告警还要考虑连续次数、去重、抑制和恢复通知。
临时排障就手工执行,周期采集可以用cron或systemd timer,日志配合logrotate,别让监控日志反过来占满磁盘。脚本里不要硬编码邮箱密码和SMTP授权码。多主机场景下,脚本适合单机初筛,集中监控还是交给Prometheus node_exporter、Zabbix这些平台。
top不同版本字段位置不同,硬编码列号容易取错;iostat没装或设备名不匹配,输出就会空。只采一次I/O数据、把磁盘空间使用率和I/O利用率混为一谈、忽略容器里的/proc和cgroup限制,都是常见坑。负载均值不看核数、内存只看free、输出没有时间戳和采样间隔、命令失败还继续输出空值,也会让后面复盘很难受。
一键采集脚本的核心不是命令数量,而是指标口径、采样方法和输出结构。CPU、内存、磁盘I/O要联合判断,别拿一个指标就下结论。好的脚本至少做到可复现、可比较、可解释、可扩展,短期拿来排障,长期还是接入专业监控,让数据真的能支持行动。