众力资讯网

虚拟内存 I/O零拷贝


程序常卡在输入输出,内核用户来回倒腾,零拷贝究竟省了哪几步。

很多程序跑得慢,不一定是CPU算不过来,而是输入输出在拖后腿。数据要从磁盘或网卡进内核,再从内核到用户程序,中间还有地址翻译和上下文切换。这篇按这条线,从虚拟内存讲到零拷贝,看看性能耗在哪,又能省掉哪几步。

物理内存就那么多,多个进程如果直接抢地址,很容易乱套。虚拟内存给每个进程一套独立地址空间,看起来又大又连续,真正访问时才分配物理页。它靠MMU和页表做地址翻译,TLB缓存常用页表项,缺页时再进中断补页。

页表太大也麻烦,所以有了多级页表,按需创建下级页表,省下不少空间。TLB命中就快,不命中就得查页表,脏页回写还要多花成本。这些设计说到底是加中间层,用一点开销换隔离和扩容。

内核空间和用户空间必须分开,因为特权指令不能让普通程序随便碰。一个应用崩了,不能把整个系统也拖下水。系统调用要从用户态切到内核态,这个切换有成本,高并发时会被放大,数据还得在两边流动。

输入输出说白了就是把数据移进或移出缓冲区。它通常分两段,硬件先把数据放到内核空间,内核再把数据拷到用户空间。阻塞和非阻塞看第一段等不等,同步和异步看第二段完成后要不要用户自己拷。

早期没有DMA时,CPU要全程参与搬数据,很浪费。DMA让硬件绕开CPU直接访问内存,CPU能腾出手干别的。可就算这样,内核到用户那一次拷贝还是躲不开。

同步阻塞I/O常常一连接一线程,连接一多就顶不住。非阻塞I/O靠轮询,系统调用次数又太多。select和poll每次要把文件描述符从用户态拷进内核,epoll用红黑树挂描述符,用就绪链表返回事件,省了不少重复动作。

epoll有LT和ET两种触发方式,ET通常要求非阻塞读写,不然容易漏事件。Reactor模型就是在这类机制上做工程组合,单线程、多线程、多Reactor各有取舍。真正异步I/O想解决最后一公里,但内核到用户拷贝仍是个现实问题。

传统read和write一次常见要4次上下文切换、4次数据拷贝,其中2次DMA、2次CPU。高并发下这套开销很难看。零拷贝不是完全没有拷贝,它主要想减少切换,减少CPU拷贝和用户内核之间的来回拷。

mmap加write把内核读缓冲区映射给用户,少了一次CPU拷贝,但上下文切换还是4次。mmap还能把文件当内存用,多进程共享也方便。sendfile让数据在内核里直接传,用户空间看不到,开销降到2次切换、1次CPU拷贝、2次DMA。

sendfile再加DMA gather,只传地址和偏移量,由DMA批量搬,CPU拷贝可以降到0。splice用管道连读缓冲区和socket缓冲区,也能做到0次CPU拷贝。写时复制则是延迟复制,尽量省稀缺的物理内存。

选方案要看场景,用户程序要处理数据就用mmap,只做文件转发就用sendfile,管道类场景可考虑splice。加密和压缩通常不能直接零拷贝,因为它得改内容。零拷贝也有边界,不是所有I/O都能套。

Java里MappedByteBuffer是mmap的封装,FileChannel.transferTo和transferFrom基于sendfile思路。BufferedInputStream用缓冲区减少系统调用,Netty和Kafka也常借零拷贝提吞吐。说到底,都是在拷贝和切换上做减法。

这条线看下来,虚拟内存解决空间和隔离,内核用户隔离带来切换成本,I/O模型解决等待策略,零拷贝再削冗余拷贝。通用手法无非加中间层、延迟处理、共享数据。没有银弹,每种技术都有前置条件,省下的那几步也都有代价。