3. TensorRT基础架构：推理引擎(Engine)概念、网络定义(Network Definition)、构建器(Builder)与配置、运行时(Runtime)上下文

好，咱们今天来聊聊TensorRT最核心的骨架——它的基础架构。说实话，很多新手一上来就急着调API，结果遇到性能瓶颈或者模型跑不起来，根本不知道问题出在哪。我个人习惯是，先把这个架构图刻在脑子里，后面写代码才有底气。

TensorRT的整个工作流，说白了就是四个核心组件在跳舞：网络定义、构建器、引擎和运行时。它们各司其职，又环环相扣。咱们一个一个拆开看。

3.1 网络定义 (Network Definition)

网络定义，就是你要部署的模型的“蓝图”。它描述了计算图长什么样——有哪些层、层与层怎么连、每层的参数是多少。

在TensorRT中，这个蓝图是用 INetworkDefinition 接口来描述的。你可以通过两种方式把它填满：

• 解析器导入：用 ONNXParser 或 UFFParser 直接读模型文件。这是最常用的方式，省时省力。
• 手动搭建：用 addConvolution、addPooling 这些API一层层往上堆。我早期做定制算子时，就经常这么干。

嗯，这里要注意一点：网络定义一旦创建，就不能再修改了。你想想看，这就像盖房子，图纸画好了就不能随便改，否则后面施工全乱套。所以，在构建之前，一定要确认网络定义是完整的。

3.2 构建器 (Builder) 与配置

构建器，就是那个把“蓝图”变成“可执行程序”的施工队。它的核心工作是优化——把网络定义转换成能在目标GPU上高效运行的引擎。

构建器本身不干活，它需要一份 IBuilderConfig 配置来告诉它怎么干。我刚开始用TensorRT时，经常忽略配置，结果跑出来的性能跟没优化一样。后来踩了坑才明白，配置才是构建器的灵魂。

常用的配置项有哪些？我给你列个表：

配置项	作用	我的建议
setMemoryPoolLimit	限制构建时使用的显存	别设太小，否则构建会失败
setFlag(BuilderFlag::kFP16)	启用FP16推理	精度允许的话，必开
setFlag(BuilderFlag::kINT8)	启用INT8量化	需要校准数据集，效果最好
setMaxWorkspaceSize	设置工作空间大小（已废弃）	新版本用 setMemoryPoolLimit 替代

构建器还有一个重要功能——层融合。它会自动把连续的卷积、BN、ReLU合并成一个内核。我曾经在项目中遇到过，一个看起来有100层的网络，构建器优化后只剩30多个内核，推理速度直接翻倍。

3.3 推理引擎 (Engine)

引擎，就是构建器产出的“可执行文件”。它包含了优化后的计算图、权重、以及针对特定GPU架构的机器码。

引擎有几个关键特性：

• 平台绑定：在A100上构建的引擎，不能在T4上直接跑。为什么？因为优化策略是针对特定架构的。所以跨平台部署时，要么在目标设备上构建，要么用兼容性配置。
• 序列化与反序列化：引擎可以保存为二进制文件（.plan或.engine），下次直接加载，省去构建时间。我一般会在训练服务器上构建好，然后序列化后拷贝到边缘设备上反序列化使用。
• 不可变：引擎一旦创建，就不能再修改。你想换个精度？重新构建吧。

3.4 运行时 (Runtime) 与上下文

运行时，就是负责加载和执行引擎的“调度中心”。它提供了 IRuntime 接口，用来反序列化引擎文件，并创建执行上下文。

执行上下文（IExecutionContext）才是真正干活的那个。它管理着推理过程中的所有状态，包括输入输出缓冲区的绑定、CUDA流的分配等。

这里有个容易混淆的点：一个引擎可以创建多个上下文。你想想看，如果多个请求同时进来，每个请求都有自己的上下文，互不干扰。这在服务端部署时特别有用。

使用上下文执行推理的典型流程：

// 1. 创建运行时
IRuntime* runtime = createInferRuntime(logger);

// 2. 反序列化引擎
ICudaEngine* engine = runtime->deserializeCudaEngine(engineData, engineSize);

// 3. 创建上下文
IExecutionContext* context = engine->createExecutionContext();

// 4. 绑定输入输出缓冲区
void* buffers[2];
cudaMalloc(&buffers[0], inputSize);
cudaMalloc(&buffers[1], outputSize);

// 5. 执行推理
context->enqueueV2(buffers, stream, nullptr);

// 6. 同步等待
cudaStreamSynchronize(stream);

嗯，这里要注意：enqueueV2 是异步的，必须手动同步。我见过有人忘了同步，结果拿到的输出全是乱码，排查了半天才发现是异步没处理好。

3.5 四者关系总结

这四个组件的关系，我用一句话概括：网络定义是图纸，构建器是施工队，引擎是盖好的房子，运行时是物业，上下文是每个住户。

在实际项目中，我通常这样组织代码：

1. 用ONNX解析器创建网络定义。
2. 配置构建器，设置精度和工作空间。
3. 调用构建器生成引擎，并序列化保存。
4. 在目标设备上，用运行时反序列化引擎，创建上下文，开始推理。

说白了，只要搞懂了这四个组件的职责和协作方式，TensorRT的整个部署流程就清晰了。后面咱们讲跨平台编译时，会反复用到这些概念，所以现在一定要吃透。