内核日志看着简单,读错接口就白忙,日志到底被谁吃掉了。
我一开始以为内核日志就是printk直接打到串口,后来才知道中间有缓冲区,dmesg和cat /proc/kmsg也不是一回事。真正要弄明白的是日志怎么写进环形缓冲区,又怎么被用户态取走。这个链路不神秘,但几个细节很容易踩坑。
先纠正三个常见误会。printk不是内核版printf,它可能跑在中断、软中断、NMI和早期启动阶段,不能睡眠,也不能依赖完整I/O栈。日志也不是直接“打印到串口”,而是先格式化,写进内核自己维护的缓冲区,再由已注册控制台择机输出。
所以同一份日志能同时出现在dmesg、串口、VGA和syslog文件里,因为缓冲区是存储层,输出设备是另一层。dmesg拿的是一次快照,cat /proc/kmsg拿的是增量流,差别就在读指针有没有被推进。理解内核日志,得先看缓冲区,不要从输出端倒推。
环形缓冲区说白了就是一块固定长度的连续内存,加一个读游标R和一个写游标W。写到末尾就回绕到开头,用取模算位置。R等于W时表示空;写入后如果W追上R,就得强行推进R,丢掉最旧的数据。
因此环形缓冲区天然有损,容量决定你能回溯多久的历史。只用两个游标时,满和空的表达式会撞在一起,常见办法是牺牲一个槽位、加计数变量,或者用单调递增的序号。教学里常拿七元素数组演示覆盖,生产实现还要考虑消息原子性、并发可见性、自旋锁和等待队列。
内核日志缓冲区传统上在kernel/printk/printk.c里,用静态数组__log_buf,大小由CONFIG_LOG_BUF_SHIFT决定。现代内核有printk_ringbuffer,独立成模块给printk用。编译期可以选日志缓冲区大小,启动期能用log_buf_len=指定,通常要2的幂,典型默认128KB或256KB。
缓冲区满后新日志覆盖旧日志,故障现场可能刚好被冲掉。排查内存泄漏、偶发死锁这种过程型问题,优先扩缓冲区,往往比到处加打印更实在。另一个闸门是控制台级别,每条日志带
用户态读取不止一条路。dmesg像快照,一次读全量;cat /proc/kmsg是流式,只给上次之后的新内容;/dev/kmsg是设备接口,dmesg也从这里取数据;klogd、rsyslog这类守护进程会把日志转存到/var/log/kern.log。关键点是/proc/kmsg读即消费,多个消费者同时读会互相抢日志,日志缺失时别忽略这一点。
/proc/kmsg在旧内核里由proc_misc_init创建,用create_proc_entry在/proc根下建节点,再把proc_kmsg_operations挂上去,权限S_IRUSR表示只有拥有者可读。新内核已经换成proc_create和proc_ops,旧示例只能当原理教学版。调用时,kmsg_read遇到非阻塞且无数据会返回-EAGAIN,否则进do_syslog;type 9只探测有没有数据,type 2才真正读取。
真正读取时会校验用户地址,无数据时用wait_event_interruptible挂起,拿到自旋锁后逐字节取LOG_BUF,推进读游标,放锁后用__put_user拷到用户空间。cat完 /proc/kmsg 后日志“消失”,根因就是读游标被推进了。它不是把缓冲区清空,而是消费者位移了,下次再读只能看到新写入的内容。
自己仿一个/proc/mykmsg并不难。准备全局数组、读游标R、写游标W,写一个read_buff和一个write_buff,再写myprintk:先用vsnprintf格式化到临时缓冲,再逐字节入环。入口用proc_create建节点,出口用remove_proc_entry卸载,read里仿kmsg_read,用等待队列等数据,写入后wake_up_interruptible唤醒读者。
教学版有几个已知毛病。逐字节入环会撕裂消息,并发写入时日志会交错;vsnprintf的长度参数如果不限制在目标缓冲内,有溢出风险;单条消息长于整个缓冲区时也没处理;多进程同时cat会互相抢数据。先承认这些缺陷,比假装它能上生产更靠谱。
想让自定义接口像dmesg那样可重复读,可以引入会话游标R_current。open时让R_current等于R,read只移动R_current,不动R,写入覆盖时再维护两者的追赶关系。这样每次打开都从最旧的有效数据开始,读完R不变,能反复读。但它只解决单读者重复读,不解决多读者并发,读期间被覆盖还要额外校验。
从玩具到生产还差不少东西。真实实现按消息记录而不是字节,保证一条日志完整;高性能路径用原子序号和内存序,不是全局自旋锁;多读者要各自维护位置或提供快照;覆盖时记录丢弃计数;还要限频、动态调试、安全格式符和早期日志。
排错时先看级别是否被过滤,再看缓冲区是否被覆盖,是否有别的消费者先读走,快照和流式接口是否搞混,打印点上下文是否合适,是否触发限频。内核日志说到底就是缓冲区存储、级别过滤、控制台输出、用户接口消费四层。环形缓冲区的精髓是两个游标和一条覆盖规则,/proc/kmsg和dmesg的差异不是小实现细节,而是消费模型不同。