🚀 TensorRT 动态Shape实战
从入门到部署 · 30章完整体系
📌 友好 · 蓝绿色系
01
动态Shape概述
什么是动态Shape · 为什么需要 · TensorRT支持情况
02
动态Shape核心概念
Optimization Profile · Binding · Dynamic Dimensions · Shape Tensor
03
环境搭建与工具链
CUDA · cuDNN · TensorRT版本 · Docker · 验证安装
04
ONNX基础与导出
ONNX简介 · PyTorch转ONNX · 动态轴 · opset选择
05
ONNX导出实战
动态Batch/宽高导出 · 多动态维度 · 验证正确性
06
TensorRT Builder配置
Builder · Config · NetworkDefinition · BuilderFlag
07
Optimization Profile详解
创建Profile · kMIN/kOPT/kMAX · 多Profile · 选择策略
08
动态Shape引擎构建
ONNX构建引擎 · 动态范围 · 序列化 · 引擎验证
09
Runtime上下文管理
IRuntime · ExecutionContext · Buffer管理 · 异步执行
10
动态输入输出处理
动态输入绑定 · 输出尺寸推断 · 内存分配 · Host/Device
11
Python API实战
TensorRT Python绑定 · PyTorch交互 · 数据预处理
12
C++ API实战
C++部署流程 · RAII资源管理 · 错误处理 · 性能调优
13
动态Batch场景
NLP动态Batch · 图像分类 · 性能对比分析
14
动态分辨率场景
目标检测动态输入 · 语义分割 · 多尺度推理
15
多Profile切换
多分辨率服务 · 切换开销 · Profile缓存优化
16
Shape Tensor高级用法
Shape Tensor计算 · 条件执行 · 循环控制 · 动态层
17
动态Shape与INT8量化
量化感知训练 · 动态范围校准 · INT8注意事项
18
动态Shape与稀疏化
结构化稀疏 · 2:4稀疏模式 · 动态Shape稀疏推理
19
动态Shape与多流并行
CUDA Stream管理 · 多ExecutionContext并行 · 吞吐优化
20
动态Shape内存优化
内存池设计 · 动态分配 · 碎片管理 · 显存复用
21
动态Shape调试技巧
日志级别 · 层调试 · Shape传播可视化 · 错误排查
22
动态Shape性能分析
Nsight Systems · Profiling工具 · 瓶颈定位 · 优化迭代
23
动态Shape与Plugin
自定义Plugin开发 · 动态Shape接口 · 注册与使用
24
动态Shape与TensorRT-LLM
LLM动态Batch · PageAttention · KV Cache动态管理
25
动态Shape与Triton
Triton动态Batch · Model Ensemble · 并发模型管理
26
动态Shape与DeepStream
视频分析动态分辨率 · 多流输入 · GStreamer集成
27
动态Shape边缘部署
Jetson优化 · 动态Shape限制 · 功耗与性能平衡
28
常见问题与解决方案
Shape推断失败 · 性能退化 · 内存溢出 · 兼容性
29
动态Shape最佳实践
设计模式 · 代码架构 · CI/CD · 模型版本管理
30
综合实战项目
PyTorch训练→TensorRT动态部署 · 端到端评估 · 生产优化