🚀 TensorRT 故障排除实战
📘 30章 · 从入门到生产部署
🌟 风格 · 活泼专业
1
TensorRT 基础概念
Builder · Engine · Context，为什么需要 TensorRT
2
环境搭建与版本匹配
CUDA / cuDNN / TensorRT 版本对应，安装排错
3
模型序列化与反序列化
ONNX → TRT，UFF → TRT，engine 保存加载
4
ONNX 导出常见错误
算子不支持、动态轴、命名不一致
5
动态形状 (Dynamic Shape)
-1 维度含义，Profile 设置，运行时 Shape 变化
6
精度校准与 FP16/INT8
显存溢出，校准集选择，结果分析
7
内存管理错误
显存泄漏，cudaMalloc 失败，内存碎片化
8
多流与并发推理
cudaStream 同步，线程安全，Context 复用
9
插件 (Plugin) 开发与注册
自定义算子，IPluginV2，动态库加载
10
DLA 加速器部署
DLA 算子支持，固定尺寸，性能调优
11
TensorRT 日志分析
日志级别，Warning 解读，错误定位
12
性能 Profiling 与瓶颈
Nsight Systems，Layer 时间，IO 瓶颈
13
Batch Size 与吞吐量优化
显式/隐式 Batch，动态 Batch，吞吐测试
14
多 GPU 推理与负载均衡
单进程多卡，多进程多卡，NCCL 通信
15
与深度学习框架集成
PyTorch-TRT, TF-TRT, ONNX Runtime-TRT
16
QAT 与 PTQ 量化
QAT 导出，PTQ 校准，精度恢复
17
稀疏化与结构化剪枝
2:4 结构化稀疏，Fine-tuning 部署
18
TensorRT 安全部署
模型加密，Engine 校验，防逆向
19
容器化部署 (Docker)
TRT Docker 镜像，环境一致性，GPU 直通
20
边缘设备部署 (Jetson)
JetPack 版本，功耗限制，CPU-GPU 协同
21
常见运行时错误
segmentation fault, abort, 非法内存访问
22
构建时错误 (Build Error)
网络结构不支持，维度推导失败，内存不足
23
精度对齐问题
FP32/FP16/INT8 对比，逐层误差，余弦相似度
24
输入输出绑定 (Binding) 错误
索引混乱，数据类型不匹配，Shape 不一致
25
TensorRT 版本迁移
7.x → 8.x，API 变更，弃用功能处理
26
自定义数据加载与预处理
GPU 预处理，NPP 库，DALI 集成
27
长序列与 Transformer 部署
Attention 优化，KV Cache，内存复用
28
RNN/LSTM 部署
时间步展开，状态管理，动态长度
29
多任务模型与分支网络
多输出处理，条件执行，共享权重
30
综合案例：ONNX 到生产部署
全流程故障排除，端到端实战