零拷贝你需要知道的事

0x01 引子：传统的拷贝模式

一个实际的场景是静态文件服务器，客户端请求一个静态资源，服务返回内容给它。传统的处理方式是这样的（备注，为了代码简洁起见，省略一些代码）

for (;;) {
    if (lseek(fd, 0, SEEK_SET) < 0) err_quit("error seek file");

    connect_fd = accept(listen_fd, &serv_addr, &client_addr);
    if (connect_fd < 0) err_quit("accept failed");

    int n = 0;
    char buf[BUFFER_SIZE];
    while ((n = read(fd, buf, BUFFER_SIZE)) > 0) {
        write(connect_fd, buf, n);
    }
    close(connect_fd);
}

对于许多应用程序来说，这样的循环读写是可接受的，但是如果我们需要通过socket 频繁传输大文件的话，这种方式就会非常的不高效：这个过程涉及到 4 次数据拷贝，如下图所示

详细的时序图如下：

执行 read 系统调用
操作系统上下文切换到 kernel 模式，DMA 读取磁盘的文件内容并存储到 kernel 的缓冲区缓存（第 1 次上下文切换，第 1 次数据拷贝）
操作系统内核把数据从 kernel 拷贝到用户空间缓冲区，上下文切换到 user 模式，read() 函数退出（第2次上下文切换，第 2 次数据拷贝）
执行一些可能的业务代码，然后执行 write 系统调用
操作系统上下文切换到 kernel 模式，然后把数据从用户空间拷贝到内核空间的 socket 发送缓冲区（第 3 次上下文切换，第 3 次数据拷贝）
write 函数返回，操作系统切换到 user 模式，与此同时，第四次拷贝出现，DMA 把内核缓冲区的数据拷贝到网卡网络协议处理引擎中（第 4 次上下文切换，第 4 次数据拷贝）

可以看到其中涉及到两次用户空间和内核空间之间的拷贝，一个用来将文件内容从内核缓冲区缓存中拷贝到用户空间，另一个用来将用户空间缓冲区拷贝会内核空间，以此才能通过套接字进行传输。如果应用程序在发起传输之前根本不需要对文件内容做任何处理的话，那么这种来回拷贝完全是一种浪费。

0x02 好一点的方式

从 2.1 内核版本开始，Linux 引入了 sendfile 来简化操作，sendfile 方法成功的将数据拷贝的次数从四次减少到了三次（其中只有一次涉及到了 CPU），但是这种方式还没有达到零拷贝的要求核心代码如下

for (;;) {
    connect_fd = accept(listen_fd, &serv_addr, &client_addr);
    if (connect_fd < 0) err_quit("accept failed");

    struct stat stat_buf;
    fstat(fd, &stat_buf);
    off_t offset = 0;
    int cnt = 0;
    if ((cnt = sendfile(connect_fd, fd, &offset, stat_buf.st_size)) < 0) {
        err_quit("send file failed");
    }
    close(connect_fd);
}