01
TensorRT初识
什么是TensorRT · 核心价值 · 版本演进与生态定位
概念入门
02
环境搭建与安装
CUDA/cuDNN版本匹配 · 多种安装方式 · 验证安装
环境实操
03
核心概念解析
计算图 · Engine · Context · Binding · Optimization Profile
原理必知
04
模型序列化与反序列化
.plan文件 · 序列化/反序列化 · 模型加密与安全
序列化安全
05
ONNX基础与导出
ONNX介绍 · PyTorch导出 · opset版本 · 动态/静态轴
ONNX导出
06
ONNX模型调试
onnxruntime验证 · onnx-simplifier · Netron · 错误排查
调试工具
07
TensorRT ONNX Parser
ONNX Parser构建网络 · 常见问题 · 自定义层回退
解析器进阶
08
Builder配置详解
Workspace · 精度模式 · 最大Batch · DLA核心
配置性能
09
INT8量化原理
对称/非对称量化 · 校准集 · KL散度 · 熵校准
量化理论
10
INT8量化实战
校准器实现 · 敏感层分析 · 逐层精度对比 · 混合精度
实战INT8
11
动态形状 (Dynamic Shape)
动态Batch/宽高 · Optimization Profile · Shape Tensor
动态灵活
12
显存优化技巧
池化机制 · 显存复用 · 流式处理 · 碎片整理
显存优化
13
多流并发推理
CUDA Stream · 多Stream并行 · Engine绑定 · 异步推理
并发性能
14
Python API实战
Python绑定 · numpy交互 · 推理流水线
Python快速
15
C++ API实战
C++引擎封装 · RAII · 性能对比
C++高效
16
插件(Plugin)开发
IPluginV2 · 插件注册 · 自定义算子 · 调试技巧
插件自定义
17
常见网络结构适配
ResNet · Transformer · YOLO · LSTM
适配模型
18
性能Profiling
Nsight Systems · TensorRT Profiling · 层耗时分析
分析调优
19
精度调试与验证
逐层输出对比 · 余弦相似度 · 相对误差 · 精度退化定位
精度验证
20
多GPU推理
单进程多卡 · 多进程多卡 · NCCL · 负载均衡
多卡分布式
21
TensorRT与Triton集成
Triton配置 · 模型仓库 · 动态批处理 · 并发请求
Triton服务
22
边缘端部署
Jetson优化 · DLA · 功耗与性能 · TensorRT on Jetson
边缘Jetson
23
TensorRT与TensorFlow集成
TF-TRT · SavedModel转换 · TF2.x兼容
TF集成
24
TensorRT与PyTorch集成
torch-tensorrt · JIT追踪 · FX量化 · 端到端部署
PyTorch集成
25
模型压缩与剪枝
结构化剪枝 · 通道剪枝 · 知识蒸馏 · 稀疏推理
压缩剪枝
26
实时视频流推理
视频解码 · 流水线并行 · 帧率优化 · 延迟控制
视频实时
27
生产环境部署
Docker · CI/CD · 模型版本管理 · A/B测试
生产DevOps
28
常见错误与解决方案
错误码 · 日志分析 · 内存泄漏 · 崩溃恢复
排错经验
29
性能调优案例
30ms→5ms · 算子融合 · 内存布局 · Kernel调优
调优案例
30
未来趋势与进阶
TensorRT 10 · Hopper · 大模型推理 · MLPerf
前沿趋势