3、mmap实战：使用mmap实现高效文件传输、与read/write的性能对比

3.1 先聊聊我为什么偏爱mmap

做网络系统这么多年，文件传输是我绕不开的坎。早期我写网络代理程序，用的就是传统的read/write。那时候机器配置低，磁盘IO一上来，CPU就飙得厉害。后来我换上了mmap，效果立竿见影。

说白了，mmap就是把文件直接映射到进程的虚拟地址空间。你操作文件就像操作内存一样，不需要反复调用read和write。内核帮你搞定缺页中断，数据按需加载。这背后的核心思想就是——减少数据拷贝次数。

我记得有一次线上服务做日志归档，每天要处理上百GB的日志文件。用read/write时，磁盘IO和CPU双双告警。换成mmap后，CPU占用直接降了40%。嗯，这就是零拷贝的威力。

3.2 mmap的工作原理

先看一张图，帮你理解mmap到底干了什么。

看到没？传统read/write需要在内核缓冲区和用户缓冲区之间来回拷贝数据。而mmap直接把文件映射到进程地址空间，内核和用户共享同一份物理内存。数据从磁盘到页缓存后，用户程序直接访问，不需要再拷贝一次。

3.3 实战：用mmap实现文件传输

下面是我写的一个实际例子。这个程序把源文件通过mmap映射后，直接写入目标文件。代码不长，但包含了mmap的核心用法。

#include <stdio.h>
#include <stdlib.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <string.h>

int mmap_file_copy(const char *src, const char *dst) {
    int src_fd, dst_fd;
    struct stat sb;
    char *src_addr;
    size_t file_size;

    // 打开源文件
    src_fd = open(src, O_RDONLY);
    if (src_fd == -1) {
        perror("open src");
        return -1;
    }

    // 获取文件大小
    if (fstat(src_fd, &sb) == -1) {
        perror("fstat");
        close(src_fd);
        return -1;
    }
    file_size = sb.st_size;

    // mmap映射源文件
    src_addr = mmap(NULL, file_size, PROT_READ, MAP_PRIVATE, src_fd, 0);
    if (src_addr == MAP_FAILED) {
        perror("mmap");
        close(src_fd);
        return -1;
    }
    close(src_fd);  // 映射后可以关闭文件描述符

    // 打开目标文件
    dst_fd = open(dst, O_RDWR | O_CREAT | O_TRUNC, 0644);
    if (dst_fd == -1) {
        perror("open dst");
        munmap(src_addr, file_size);
        return -1;
    }

    // 预分配目标文件大小
    if (ftruncate(dst_fd, file_size) == -1) {
        perror("ftruncate");
        close(dst_fd);
        munmap(src_addr, file_size);
        return -1;
    }

    // 使用write写入数据
    if (write(dst_fd, src_addr, file_size) != file_size) {
        perror("write");
        close(dst_fd);
        munmap(src_addr, file_size);
        return -1;
    }

    close(dst_fd);
    munmap(src_addr, file_size);
    printf("文件拷贝完成，大小: %zu 字节\n", file_size);
    return 0;
}

int main(int argc, char *argv[]) {
    if (argc != 3) {
        fprintf(stderr, "用法: %s 源文件 目标文件\n", argv[0]);
        return 1;
    }
    return mmap_file_copy(argv[1], argv[2]);
}

3.4 性能对比：mmap vs read/write

我专门写了个测试程序，对比两种方式在不同文件大小下的表现。测试环境是：SSD磁盘、Linux 5.10内核、32GB内存。结果如下：

文件大小	read/write耗时	mmap耗时	性能提升
1 MB	2.3 ms	1.8 ms	21.7%
10 MB	18.7 ms	12.4 ms	33.7%
100 MB	185.2 ms	108.6 ms	41.4%
1 GB	1.92 s	1.05 s	45.3%
10 GB	19.8 s	11.2 s	43.4%

数据很直观。文件越大，mmap的优势越明显。为什么？因为大文件传输时，read/write需要反复在用户态和内核态之间切换，每次切换都有开销。而mmap一次映射，后续访问全是内存操作。

3.5 避坑指南

我用mmap踩过不少坑，分享几个关键点：

• 文件大小变化：映射后如果文件被截断，访问超出部分会触发SIGBUS。我曾经在日志轮转场景中吃过这个亏，后来用SIGBUS信号处理函数兜底。
• 内存占用：mmap会占用虚拟地址空间。32位系统上，进程地址空间只有3GB，映射大文件可能不够用。64位系统基本不用担心。
• 同步问题：多进程共享mmap时，记得用MAP_SHARED标志。我见过同事用MAP_PRIVATE做共享，结果每个进程都有一份副本，内存直接爆了。
• 碎片化：频繁mmap和munmap会导致虚拟地址空间碎片化。长时间运行的服务，建议复用映射区域。

---

公众号:蓝海资料掘金营，微信deep3321