TensorRT 动态形状 · 实战
🎯 30章 完整进阶
🏆 从入门到精通 · 动态形状优化全栈
📁 共30个章节
01
TensorRT概述
什么是TensorRT · AI推理角色 · 核心优势
↗
02
环境搭建
CUDA/cuDNN版本 · 安装tar/deb · 验证
↗
03
静态形状与动态形状
定义与限制 · 引入背景 · 适用场景
↗
04
动态形状核心概念
优化Profile · min/opt/max · 绑定切换
↗
05
构建动态形状网络 (Python API)
动态输入 · 维度范围 · Engine序列化
↗
06
构建动态形状网络 (C++ API)
定义动态输入 · Profile · 构建保存
↗
07
动态形状的推理执行
绑定Profile · 动态输入 · 多Profile切换
↗
08
常见错误与调试
维度不匹配 · Profile未设置 · 超出范围
↗
09
动态形状性能分析
推理速度 · 显存占用 · Benchmark对比
↗
10
动态形状优化策略
min/opt/max选择 · 减少Profile · INT8/FP16
↗
11
动态形状与插件 (Plugin)
自定义Plugin · 动态维度 · 注册使用
↗
12
动态形状与多流推理
多Stream · 显存复用 · 并发Profile
↗
13
动态形状与TensorRT-LLM
LLM动态形状 · 变长输入 · PagedAttention
↗
14
动态形状与ONNX-TensorRT
ONNX动态模型 · Dynamic Axes · 兼容性
↗
15
动态形状与TF-TRT
TF导出动态形状 · Profile配置 · 局限性
↗
16
动态形状与Torch-TensorRT
PyTorch动态导出 · Profile · 动态Batch
↗
17
TRT-Engine Inspector
trtexec查看Engine · 解析Profile · 验证优化
↗
18
动态形状与显存优化
显存池配置 · 碎片问题 · 复用策略
↗
19
动态形状与延迟优化
Kernel Autotuning · CUDA Graph · 减少传输
↗
20
动态形状与多GPU
多卡推理 · NCCL通信 · 负载均衡
↗
21
动态形状与视频流处理
动态分辨率 · 动态Batch · 实时优化
↗
22
动态形状与NLP模型
BERT变长输入 · Attention Mask · 调优
↗
23
动态形状与CV模型
YOLO动态输入 · NMS处理 · 多尺度推理
↗
24
动态形状与推荐系统
动态特征输入 · Embedding优化 · 大规模部署
↗
25
动态形状与量化
INT8校准 · QAT · 精度损失分析
↗
26
动态形状与稀疏化
结构化稀疏 · 稀疏TensorRT · 稀疏推理
↗
27
Triton Inference Server
动态形状配置 · Model Config · 动态Batch
↗
28
动态形状与边缘设备
Jetson平台 · 显存限制 · 功耗优化
↗
29
动态形状的调试工具
TensorRT Profiler · Nsight Systems · 瓶颈定位
↗
30
最佳实践与总结
项目复盘 · FAQ · 未来趋势
↗