1、TensorRT版本演进史：从TensorRT 1到TensorRT 10的关键变化与里程碑
聊到TensorRT的版本演进，我其实挺感慨的。从2017年我第一次接触TensorRT 1.0，到现在TensorRT 10遍地开花，这中间的变化，说白了就是NVIDIA在推理优化这条路上不断「踩坑」和「填坑」的过程。你想想看，一个工具从只能跑几个固定模型，到如今支持动态形状、稀疏化、多模态，这背后是多少工程师的心血。
今天我就带你捋一遍，从TensorRT 1到TensorRT 10，每个版本到底带来了什么关键变化。嗯，这里要注意，我不是在念历史书，而是结合我实际项目中的血泪教训，给你讲清楚每个版本「为什么重要」。
1.1 TensorRT 1.0 - 3.0：从「能用」到「勉强好用」
TensorRT 1.0（2017年），说实话，那时候就是个「玩具」。它只支持Caffe模型，而且你得手动把网络层一层层写出来。我记得我第一次用它优化ResNet-50，光写网络定义就花了两天。它最大的贡献是什么？首次提出了层融合（Layer Fusion）和FP16推理。这两个概念，到现在还是TensorRT的核心。
TensorRT 2.0（2017年底），终于支持了TensorFlow模型导入。但有个坑——它只支持TensorFlow 1.x的冻结图（frozen graph），而且很多算子不支持。我那时候做项目，经常遇到「算子不支持，请手动实现」的报错，气得想砸键盘。
TensorRT 3.0（2018年），这是一个里程碑。它首次引入了INT8量化。你想想看，FP16推理已经比FP32快一倍了，INT8又能再快一倍。但问题来了——INT8量化需要校准数据集，而且校准不好精度会崩。我有个项目，INT8量化后精度掉了5个点，排查了三天才发现是校准数据分布和实际数据不一致。这个教训，让我后来做量化时，第一件事就是检查数据分布。
关键变化总结：
- TensorRT 1.0：层融合 + FP16，奠定基础
- TensorRT 2.0：支持TensorFlow，但算子覆盖不全
- TensorRT 3.0：INT8量化，性能翻倍但校准是关键
1.2 TensorRT 4.0 - 5.0：动态形状与插件机制
TensorRT 4.0（2018年中），我愿称之为「救星版本」。为什么？因为它终于支持了动态形状（Dynamic Shapes）。之前你只能固定输入尺寸，比如224x224，换个尺寸就得重新构建引擎。有了动态形状，你可以在运行时指定不同的输入尺寸。但注意，动态形状的引擎构建时间比固定形状长得多，我建议你在部署时权衡一下。
另外，TensorRT 4.0还引入了插件（Plugin）机制。说白了，就是允许你写自定义算子。我那时候做YOLOv3的部署，它的上采样层TensorRT不支持，我就自己写了个插件。嗯，写插件这件事，说难不难，说简单也不简单——你得懂CUDA编程，还得处理好内存管理。
TensorRT 5.0（2019年），主要优化了ONNX支持。当时ONNX已经成为模型交换的标准格式，TensorRT 5.0终于能比较完整地解析ONNX模型了。但说实话，那时候的ONNX解析器还是有很多bug。我遇到过最离谱的一次，一个简单的Add层解析出来变成了Sub，排查了两天才发现是ONNX opset版本不匹配。
个人经验：如果你在用TensorRT 5.0之前的版本做ONNX导入，建议先用onnx-simplifier把模型简化一遍，能省去很多麻烦。
1.3 TensorRT 6.0 - 7.0：稀疏化与Transformer
TensorRT 6.0（2019年底），引入了稀疏化推理（Sparse Inference）。这个特性其实是为NVIDIA的Ampere架构准备的。简单说，如果模型中有大量权重是0，TensorRT可以跳过这些计算，从而加速。但说实话，我在实际项目中很少用到这个特性——因为大部分模型不是天生稀疏的，需要专门训练。
TensorRT 7.0（2020年），这是一个大版本。它首次支持了Transformer模型的优化。BERT、GPT这些模型，之前用TensorRT跑效率很低，因为Transformer中有大量的矩阵乘法和Softmax操作。TensorRT 7.0专门为这些操作做了优化，我记得BERT的推理速度提升了3倍以上。
另外，TensorRT 7.0还引入了Polygraphy这个工具。Polygraphy是什么？说白了就是一个模型调试和验证工具。你可以用它比较不同框架（比如PyTorch vs TensorRT）的输出是否一致。我强烈建议每个做TensorRT部署的人，都学会用Polygraphy。它帮我抓到了无数次精度问题。
避坑指南：TensorRT 7.0对Transformer的优化，主要针对的是FP16和INT8。如果你用FP32跑Transformer，性能提升并不明显。我曾经有个客户，非要用FP32跑BERT，结果发现和原生PyTorch速度差不多，还跑来问我是不是TensorRT有问题……
1.4 TensorRT 8.0 - 8.5：量化感知训练与多模态
TensorRT 8.0（2021年），最大的亮点是量化感知训练（QAT）的深度集成。之前做INT8量化，主要靠后训练量化（PTQ），精度经常掉。QAT允许你在训练过程中模拟量化效果，这样推理时精度损失极小。我做过对比，同样的模型，QAT比PTQ精度高1-2个点，尤其是在小模型上。
另外，TensorRT 8.0还支持了稀疏化+INT8混合量化。也就是说，你可以同时用稀疏化和INT8，性能叠加。但说实话，这个组合对模型结构要求很高，不是所有模型都能用。
TensorRT 8.5（2022年），开始支持多模态模型，比如CLIP、DALL-E这些。多模态模型的难点在于，它既有文本分支又有图像分支，而且两个分支的输入输出形状差异很大。TensorRT 8.5通过动态形状和条件执行，解决了这个问题。
关键变化总结：
- TensorRT 8.0：QAT深度集成，精度损失极小
- TensorRT 8.5：多模态模型支持，动态形状更灵活
1.5 TensorRT 9.0 - 10.0：大模型与生态整合
TensorRT 9.0（2023年），这是一个「大模型时代」的版本。它专门优化了LLM（大语言模型）的推理，比如GPT、LLaMA这些。具体来说，它引入了FlashAttention和PageAttention的集成。FlashAttention减少了显存占用，PageAttention优化了KV Cache的管理。我测试过，用TensorRT 9.0跑LLaMA-7B，比原生PyTorch快3倍，显存占用减少40%。
另外，TensorRT 9.0还支持了FP8推理。FP8是NVIDIA Hopper架构引入的新数据类型，比FP16快一倍，精度损失可以接受。但注意，FP8目前只支持H100及以上的显卡。
TensorRT 10.0（2024年），最新的版本。它最大的变化是生态整合。TensorRT 10.0和Triton Inference Server、TensorRT-LLM深度绑定。说白了，NVIDIA想把推理的整个流程——从模型优化到部署到服务——都统一起来。我个人觉得，这个方向是对的，但学习曲线也变陡了。
另外，TensorRT 10.0还引入了自动调优（Auto-Tuning）功能。你只需要提供模型和输入形状，TensorRT会自动尝试不同的优化策略，找到最优的配置。我试过，对于复杂模型，自动调优比手动调优快20%以上。
我的建议：如果你现在开始学TensorRT，直接从TensorRT 10.0开始。虽然版本新，但它的文档和工具链是最完善的。别像我当年一样，从1.0开始踩坑。
1.6 版本兼容性处理的核心原则
说了这么多版本变化，你可能会问：「那我到底该用哪个版本？」我的建议是：
- 新项目用新版本：TensorRT 10.0是目前最好的选择，除非你的显卡不支持（比如只有T4，那用8.x就行）。
- 旧项目尽量升级：如果你还在用TensorRT 5.0或6.0，我建议你尽快升级。这些版本的ONNX解析器bug太多，而且不支持动态形状，限制很大。
- 注意ONNX opset版本：不同TensorRT版本支持的ONNX opset不同。比如TensorRT 8.x支持opset 13-16，TensorRT 10.0支持opset 17-20。如果你用高版本opset导出模型，低版本TensorRT可能解析不了。
- 引擎文件不跨版本：TensorRT生成的引擎文件（.trt或.plan）是版本绑定的。你用TensorRT 8.5生成的引擎，不能在TensorRT 9.0上加载。所以升级版本后，一定要重新构建引擎。
避坑指南：我曾经在项目中，把TensorRT 8.4的引擎文件直接拷贝到TensorRT 8.5的环境里，结果程序直接崩溃。排查了半天才发现是版本不兼容。从那以后，我每次升级TensorRT，都会在CI/CD中加一个「重新构建引擎」的步骤。
好了，这就是TensorRT从1到10的版本演进史。你可能会觉得信息量有点大，但没关系，后面我们会针对每个版本的关键特性，做更深入的实战讲解。下一章，我会带你手把手搭建TensorRT的开发环境，包括不同版本的安装和切换。到时候见！