4. TensorRT核心概念：IR图优化、层融合、精度校准(FP16/INT8/INT4)
好，咱们今天聊聊TensorRT最核心的几个概念。说实话，很多同学跑通了模型，但一换到生产环境就崩，或者速度上不去，问题往往就出在这里。我个人习惯把TensorRT的工作流程看作一个「三连击」：先看懂你的模型（IR图优化），再给它做瘦身（层融合），最后决定用多大力气干活（精度校准）。
4.1 IR图优化：让TensorRT真正「看懂」你的模型
IR，全称是Intermediate Representation，中间表示。说白了，就是TensorRT把你从PyTorch或ONNX导出的模型，翻译成自己能理解的一种内部语言。
你想想看，PyTorch的模型结构是一堆Python对象，TensorRT是C++写的，它俩怎么直接沟通？所以需要一个中间桥梁。这个桥梁就是IR图。
我在项目中遇到过一个问题：用PyTorch导出的ONNX模型，在TensorRT里死活跑不对。后来发现是ONNX里有个自定义算子，TensorRT不认识。嗯，这里要注意，IR图优化的第一步，就是确保所有算子都能被TensorRT「认出来」。
IR图优化主要做三件事：
- 常量折叠：把计算图中那些输入是常量的节点，提前算好。比如
y = 2 * 3 + x，直接变成y = 6 + x。省掉一次乘法。 - 死代码消除：去掉那些输出不会被用到的节点。有些模型在训练时有辅助loss，推理时根本用不上，TensorRT会帮你剪掉。
- 算子替换：把一些复杂的算子组合，替换成TensorRT内部更高效的实现。比如把
Conv + BN + ReLU替换成一个CBR融合算子。
核心观点：IR图优化不改变模型的数学含义，只改变它的「表达方式」。就像把一篇文言文翻译成白话文，意思不变，但更好理解。
4.2 层融合：把「小零件」焊成「大模块」
层融合，也叫算子融合，是TensorRT加速的杀手锏。它的思路很简单：把多个连续的小操作，合并成一个大的操作。
为什么这样做能加速？因为GPU最怕「频繁启动」。你想想看，每个算子都要从显存读数据、计算、写回显存。如果能把三个算子合并成一个，数据读写的次数就减少了三分之二。这就像你搬家，一次搬三件行李，比跑三趟快得多。
常见的融合模式有：
| 融合模式 | 原始操作 | 融合后 | 加速效果 |
|---|---|---|---|
| Conv + BN + ReLU | 卷积 → 批归一化 → ReLU | CBR融合算子 | 减少2次显存读写 |
| Add + ReLU | 加法 → ReLU | 带ReLU的加法 | 减少1次显存读写 |
| GELU + LayerNorm | GELU → LayerNorm | 融合激活归一化 | 减少1次显存读写 |
| MatMul + Bias + ReLU | 矩阵乘 → 加偏置 → ReLU | 全连接融合 | 减少2次显存读写 |
我曾经在一个BERT模型上做过测试，不开启层融合时，推理延迟是12ms；开启后直接降到7ms。你想想看，这40%的性能提升，一分钱硬件没花，全靠软件优化。
避坑指南：我曾经遇到过一个问题，层融合后模型精度反而下降了。排查了半天，发现是BN层的参数在融合时被错误地合并了。后来我养成了一个习惯：每次开启层融合后，先用少量数据做精度对比测试，确认无误再上线。
4.3 精度校准：FP16/INT8/INT4的选择
精度校准，说白了就是决定你的模型用「多细的尺子」来量数据。FP32是毫米尺，FP16是厘米尺，INT8是分米尺，INT4是米尺。尺子越粗，计算越快，但误差也越大。
为什么能用低精度？因为神经网络对噪声有天然的鲁棒性。你想想看，人眼识别一只猫，哪怕图片有点模糊，也能认出来。神经网络也一样，它不需要那么精确的数字。
4.3.1 FP16：最稳妥的降精度方案
FP16是半精度浮点数，占2个字节。相比FP32的4个字节，显存占用减半，计算速度翻倍。而且FP16的精度损失非常小，大部分模型直接转FP16，精度几乎不变。
我建议所有模型都先试试FP16。如果精度没问题，就直接用。这是性价比最高的方案。
4.3.2 INT8：需要校准的「瘦身」方案
INT8是8位整型，占1个字节。相比FP32，显存占用减少75%，计算速度提升3-4倍。但INT8的精度损失就比较明显了，需要做校准。
校准的过程是这样的：
- 准备一批校准数据（通常几百到几千张图片）
- 用FP32跑一遍，记录每层激活值的分布
- 根据分布，找到最优的量化阈值（把浮点数映射到-128到127之间）
- 用这个阈值，把模型转成INT8
警告：校准数据的选择非常关键。我见过一个案例，有人用ImageNet的图片做校准，但实际部署的场景是医疗影像，结果精度掉了5个点。校准数据一定要和实际部署场景的数据分布一致。
4.3.3 INT4：极限压缩的「冒险」方案
INT4是4位整型，占半个字节。显存占用减少87.5%，但精度损失很大。目前INT4主要用在一些对精度要求不高的场景，比如推荐系统、语音识别等。
我个人不太建议在视觉模型上直接用INT4。除非你的模型非常大（比如LLaMA-70B），显存实在放不下，才考虑INT4。而且一定要做充分的精度验证。
4.4 知识体系总览
下面这张图，是我自己总结的TensorRT核心优化流程。你可以把它当作一个检查清单：
4.5 实战建议
说了这么多，最后给几条实战建议：
- 先跑FP32基线：不管用什么精度，先拿FP32跑出准确率和延迟，作为对比基准。
- FP16是默认选项：90%的模型可以直接用FP16，不需要额外校准。
- INT8要谨慎：校准数据一定要和实际场景匹配。我建议至少准备1000张校准图片。
- INT4是最后手段：除非显存实在不够，否则别碰INT4。
- 层融合一定要开：这是TensorRT最核心的优化，不开等于白用TensorRT。
个人经验：我习惯在每次优化后，都跑一遍完整的精度测试。哪怕只改了一个参数，也要重新验证。因为有些优化组合在一起，可能会产生意想不到的精度问题。宁可慢一点，也要稳一点。
好了，这一章的内容就到这里。IR图优化、层融合、精度校准，这三个概念是TensorRT的基石。理解了它们，你就能明白TensorRT为什么能跑得这么快，也知道在什么场景下该用什么策略。