TensorRT 动态形状完全指南 · 课程目录

01

TensorRT动态形状概述

什么是动态形状 · 为什么需要 · 与静态对比

02

动态形状的核心概念

Binding · Profile · Optimization Profile · Execution Tensor

03

构建动态形状网络

Python API · 动态输入/输出 · 设置动态维度

04

Optimization Profile详解

创建Profile · kMIN/kOPT/kMAX · 多Profile管理

05

动态形状的Builder配置

最大工作空间 · 动态标志位 · INT8/FP16校准

06

动态形状的序列化与反序列化

保存/加载动态模型 · Profile序列化

07

动态形状的推理执行

设置输入形状 · 动态Batch · 多Profile切换

08

动态形状的性能调优

Profile选择 · 内存优化 · 延迟与吞吐量平衡

09

常见错误与调试

形状不匹配 · Profile越界 · 内存溢出

10

动态形状与静态形状混合使用

部分动态/静态 · 混合部署策略

11

NLP模型中的应用

BERT动态序列长度 · GPT动态Batch

12

CV模型中的应用

YOLO动态输入尺寸 · ResNet动态Batch

13

推荐系统中的应用

动态特征数量 · 动态Embedding

14

C++动态网络构建 · Profile管理 · 推理

15

Python API实现

Python动态网络构建 · Profile管理 · 推理

16

动态形状的ONNX支持

ONNX动态输入/输出 · 到TensorRT转换

17

TRTEXEC工具使用

trtexec动态形状测试 · Profile配置

18

Polygraphy工具使用

动态形状调试 · Profile分析

19

NVIDIA Triton部署

Triton动态形状配置 · 多Profile管理

20

TensorRT Plugin开发

动态形状Plugin接口 · 示例

21

动态形状的显存管理

显存池化 · 复用 · 碎片处理

22

多流推理 · CUDA Stream · 异步Profile切换

23

量化感知训练 (QAT)

QAT与动态形状 · INT8校准

24

稀疏化处理

结构化/非结构化稀疏 · 动态形状

25

Transformer优化

FlashAttention · 动态KV Cache

26

层融合 · 常量折叠 · 动态形状

27

跨平台部署

Jetson · 嵌入式 · 云端动态形状

28

版本兼容性

TensorRT版本升级 · API变更 · 迁移指南

29

实战案例一：动态Batch的BERT推理服务

BERT 动态Batch 部署

30

实战案例二：动态输入尺寸的YOLOv8部署

YOLOv8 动态尺寸部署