1、TensorRT概述：什么是TensorRT、TensorRT在嵌入式平台的优势、TensorRT的核心组件与工作流程
大家好，我是你们的嵌入式AI讲师。今天咱们来聊聊TensorRT——这个在嵌入式平台上做模型加速绕不开的工具。
说实话，我第一次接触TensorRT是在一个边缘计算项目里。当时模型在Jetson Nano上跑，帧率只有可怜的5帧，根本没法用。后来用了TensorRT优化，直接飙到了30帧。嗯，那一刻我就知道，这工具值得好好研究。
1.1 什么是TensorRT
TensorRT是NVIDIA推出的深度学习推理优化引擎。说白了，它就是个能把训练好的模型“压缩”和“加速”的工具。
你想想看，我们训练模型时用的是PyTorch、TensorFlow这些框架，它们为了灵活性做了很多冗余操作。但到了部署阶段，我们只关心一件事——跑得快不快。TensorRT就是干这个的。
它支持常见的模型格式，比如ONNX、UFF、Caffe等。我个人习惯用ONNX作为中间格式，因为兼容性最好，踩坑最少。
核心要点：TensorRT不是训练框架，而是推理优化引擎。它只做推理，不做训练。
1.2 TensorRT在嵌入式平台的优势
嵌入式平台有什么特点？算力有限、功耗受限、内存紧张。TensorRT恰恰针对这些痛点做了优化。
我总结了几大优势：
- 显存占用低：通过层融合、精度校准，模型体积能缩小到原来的1/3甚至更小。我在Jetson Xavier上做过测试，一个ResNet-50从120MB压缩到了40MB。
- 推理速度快：支持FP16、INT8量化，速度能提升2-5倍。记得有个客户要求实时检测，用FP32跑只有12ms，换成INT8直接降到4ms。
- 功耗控制好：嵌入式设备最怕发热。TensorRT优化后，计算量减少，功耗自然就降下来了。
- 硬件适配性强：专门针对NVIDIA的GPU架构优化，从Jetson Nano到Orin，都能发挥最佳性能。
小提示：如果你用的是非NVIDIA平台，比如RK3588、树莓派，那TensorRT就用不了。这时候可以考虑ONNX Runtime或者TFLite。
1.3 TensorRT的核心组件
TensorRT有几个关键组件，我给大家拆开讲讲：
| 组件 | 作用 | 我的经验 |
|---|---|---|
| Builder | 负责构建优化后的推理引擎 | Builder的配置很关键，尤其是工作空间大小，设小了会报错 |
| Engine | 优化后的推理引擎，可序列化为文件 | 建议保存为.engine文件，下次直接加载，省去构建时间 |
| Parser | 解析ONNX、Caffe等模型格式 | ONNX Parser最常用，但要注意算子兼容性 |
| Network | 定义网络结构 | 可以用API手动搭建，但一般用Parser自动解析 |
| Config | 配置优化参数 | 精度模式、工作空间、动态形状都在这里设 |
为什么会这样设计？因为TensorRT把构建和推理分开了。构建阶段很耗时，但只需要做一次。推理阶段就快多了。
1.4 TensorRT的工作流程
整个流程其实就三步，我习惯叫它“三板斧”：
- 模型转换：把训练好的模型转成ONNX格式
- 构建引擎：用TensorRT Builder优化并生成推理引擎
- 执行推理：加载引擎，跑推理任务
来看个简单的代码示例，感受一下：
import tensorrt as trt
# 1. 创建Builder
builder = trt.Builder(trt.Logger(trt.Logger.WARNING))
# 2. 创建网络定义
network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))
# 3. 解析ONNX模型
parser = trt.OnnxParser(network, builder.logger)
with open("model.onnx", "rb") as f:
parser.parse(f.read())
# 4. 配置优化参数
config = builder.create_builder_config()
config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 << 30) # 1GB工作空间
config.set_flag(trt.BuilderFlag.FP16) # 启用FP16
# 5. 构建引擎
engine = builder.build_serialized_network(network, config)
# 6. 保存引擎文件
with open("model.engine", "wb") as f:
f.write(engine)
避坑指南：我曾经在构建引擎时忘了设置工作空间大小，结果一直报内存不足。后来发现默认值只有几百MB，对于大模型根本不够。建议根据设备内存情况，设置到1-2GB。
这里要注意，构建引擎这一步最耗时。我有个项目模型比较大，在Jetson Xavier上构建了将近20分钟。但好处是，构建一次后保存为.engine文件，以后直接加载，几秒钟就搞定。
1.5 精度模式的选择
TensorRT支持多种精度模式，我给大家列个对比：
| 精度模式 | 速度提升 | 精度损失 | 适用场景 |
|---|---|---|---|
| FP32 | 1x（基准） | 无 | 对精度要求极高的场景 |
| FP16 | 1.5-2x | 几乎无损失 | 大多数场景的首选 |
| INT8 | 3-4x | 轻微损失（需校准） | 对速度要求高，精度可接受轻微下降 |
我个人建议，刚开始先用FP16，效果已经很好了。如果对速度还不满意，再尝试INT8。但INT8需要校准数据集，操作起来稍微麻烦点。
小技巧：INT8量化时，校准数据集最好用训练集的子集，大概500-1000张图片就够了。我试过用验证集做校准，效果反而不好，因为分布和训练集有差异。
1.6 总结
好了，这一章的内容就这些。TensorRT说白了就是个模型加速器，核心思路就是“用精度换速度”。在嵌入式平台上，它能把模型跑得更快、更省电、更省内存。
下一章我们会深入讲解TensorRT的安装和配置，包括在Jetson平台上的具体操作。到时候我会分享一些踩坑经验，保证让你少走弯路。
记住，工具再好，也得会用。咱们一步步来，把TensorRT吃透。