4、模型序列化与反序列化：从内存到磁盘的“存档”艺术

各位同学，咱们今天聊一个非常实在的话题——模型序列化与反序列化。

说白了，就是把TensorRT优化好的模型，从显卡内存里“存”到硬盘上，下次要用的时候再“读”回来。我刚开始接触TensorRT时，觉得这步不就是个文件读写吗？有什么好讲的？结果第一次部署到嵌入式设备上就栽了跟头——模型死活加载不上，报了一堆看不懂的错误。嗯，从那以后，我老老实实把序列化这块啃了个透。

4.1 模型序列化原理：为什么需要“存档”？

你想想看，我们费了半天劲，用TensorRT把模型做了层融合、量化、内核调优，生成了一堆高度优化的执行计划。这些计划是跟具体硬件绑定的——比如针对你的RTX 3090优化的，换到Jetson Orin上可能就跑不了。

序列化的本质，就是把内存中的ICudaEngine对象，转换成二进制字节流，写到磁盘上。这个过程我习惯叫它“固化”。

我在项目中遇到过一个问题：有同事把序列化后的.engine文件当成了通用模型文件，拿到不同架构的GPU上去加载，结果自然是失败。这里要记住——.engine文件是硬件绑定的，换显卡就得重新生成。

4.2 .engine文件格式解析：二进制里的秘密

.engine文件本质上是一个二进制文件，没有公开的详细格式规范。但根据我多年的逆向分析经验，它的内部结构大致是这样的：

偏移量	内容	说明
0x00 - 0x03	魔数（Magic Number）	固定为0x54524E，即"TRN"的ASCII码
0x04 - 0x07	版本号	TensorRT版本，如0x0800表示8.0
0x08 - 0x0B	硬件ID	GPU架构标识，如SM86代表Ampere架构
0x0C - 0x0F	网络结构偏移	指向网络拓扑信息的指针
...	权重数据	量化后的权重和偏置
...	内核缓存	CUDA内核的二进制代码

其实你不需要完全搞懂每个字节的含义，但要知道一点：.engine文件包含了CUDA内核的PTX或SASS代码。这意味着，如果你把模型部署到别人的设备上，对方理论上可以逆向出你的网络结构。商业部署时要注意这一点。

4.3 模型反序列化流程：从磁盘到显存的“复活”

反序列化就是把.engine文件加载回来，重建执行引擎。流程其实很简单：

1. 读取文件：把.engine文件读到内存缓冲区
2. 创建运行时：调用nvinfer1::createInferRuntime()
3. 反序列化：调用runtime->deserializeCudaEngine()
4. 创建执行上下文：调用engine->createExecutionContext()

这里有个坑，我踩过好几次——反序列化时一定要保证CUDA上下文已经初始化。如果你在子线程里加载模型，而主线程的CUDA上下文还没准备好，就会报cudaErrorNoDevice错误。

4.4 模型加载与保存实战：手把手写代码

好了，理论讲完了，咱们直接上代码。这是我在实际项目中反复使用的模板：

// 模型序列化：保存.engine文件
void serializeEngine(nvinfer1::ICudaEngine* engine, const std::string& path) {
    // 获取序列化后的数据
    nvinfer1::IHostMemory* serializedData = engine->serialize();
    
    // 写入文件
    std::ofstream file(path, std::ios::binary);
    if (!file.is_open()) {
        std::cerr << "无法打开文件: " << path << std::endl;
        return;
    }
    
    file.write(reinterpret_cast<const char*>(serializedData->data()), 
               serializedData->size());
    file.close();
    
    // 释放内存
    serializedData->destroy();
    
    std::cout << "模型已保存到: " << path << std::endl;
    std::cout << "文件大小: " << serializedData->size() / 1024 / 1024 
              << " MB" << std::endl;
}

// 模型反序列化：加载.engine文件
nvinfer1::ICudaEngine* deserializeEngine(const std::string& path, 
                                          nvinfer1::IRuntime* runtime) {
    // 读取文件到内存
    std::ifstream file(path, std::ios::binary | std::ios::ate);
    if (!file.is_open()) {
        std::cerr << "无法打开文件: " << path << std::endl;
        return nullptr;
    }
    
    size_t size = file.tellg();
    file.seekg(0, std::ios::beg);
    
    std::vector<char> buffer(size);
    file.read(buffer.data(), size);
    file.close();
    
    // 反序列化
    nvinfer1::ICudaEngine* engine = runtime->deserializeCudaEngine(
        buffer.data(), size, nullptr);
    
    if (!engine) {
        std::cerr << "反序列化失败！" << std::endl;
        return nullptr;
    }
    
    std::cout << "模型加载成功，输入数量: " << engine->getNbBindings() 
              << std::endl;
    return engine;
}

这段代码我用了好几年，基本没出过问题。但有几个细节要注意：

• 文件路径：嵌入式设备上路径可能不同，建议用绝对路径
• 内存管理：反序列化后记得及时释放文件缓冲区
• 错误处理：每个步骤都要检查返回值，特别是deserializeCudaEngine

最后，给大家一个建议：生产环境中，最好在模型生成时就把序列化后的文件保存下来，并记录好对应的硬件信息、TensorRT版本、CUDA版本。这样出了问题，你能快速定位是哪个环节不匹配。

好了，这一章就到这里。下一章咱们聊聊如何把模型部署到嵌入式设备上，那才是真正考验功底的地方。