🚀 TensorRT 加速引擎
搭建与配置实战 · 30章完全攻略
⚡ 从入门到部署
v3.0
🎯 友好色系
📘 共30章 · 点击卡片跳转
01
TensorRT概述
核心优势
延迟、吞吐量、内存占用 · AI推理角色
02
环境准备
安装验证
NVIDIA驱动 · CUDA/cuDNN · deb/rpm/tar
03
ONNX基础
中间格式
ONNX导出/可视化 · PyTorch/TensorFlow
04
ONNX模型优化
Simplifier
常量折叠 · 节点融合 · opset选择
05
TensorRT工作流
全流程
ONNX→TRT · 序列化 · 引擎生命周期
06
核心API
概念与关系
Builder · Config · Network · Engine
07
Builder配置
精度/动态形状
工作空间 · FP16/INT8 · DLA核心
08
Network定义
层与张量
输入输出 · 自定义层 · 网络验证
09
Engine构建与序列化
保存/加载
buildSerializedNetwork · 版本兼容
10
推理执行
同步/异步
ExecutionContext · enqueueV2 · 缓冲区
11
动态形状
Dynamic Shapes
动态batch/宽高 · Optimization Profile
12
INT8量化原理
对称/非对称
校准数据集 · QAT与PTQ
13
INT8量化实战
PTQ API
自定义校准器 · 精度评估与调优
14
FP16混合精度
AMP配置
自动混合精度 · 精度回退策略
15
插件开发
Plugin接口
IPluginV2DynamicExt · 注册与集成
16
常见Plugin解析
NMS/Resize
Gather · Normalize · 调试技巧
17
多流推理
Multi-Stream
CUDA Stream · 并行推理 · 性能调优
18
多GPU推理
NCCL通信
单/多进程 · 负载均衡 · 亲和性
19
PyTorch集成
torch2trt
torch-tensorrt · 动态图转静态图
20
TensorFlow集成
TF-TRT
TF2ONNX+TRT · SavedModel转换
21
ONNX Runtime集成
ORT-TRT
执行提供者 · 性能对比 · 常见问题
22
DeepStream集成
视频分析
GStreamer插件 · 部署流水线
23
性能分析工具
trtexec
Nsight Systems/Compute · Profiling API
24
性能调优实战
Layer级分析
内存带宽 · 算子选择 · Batch调优
25
内存管理
显存池
DDR/HBM · 零拷贝 · 碎片处理
26
安全与版本管理
兼容性
模型加密 · 安全推理环境
27
边缘端部署
Jetson
JetPack · DLA · 功耗与性能平衡
28
云端部署
Triton
动态批处理 · 模型并发 · 弹性伸缩
29
常见问题与调试
错误排查
Engine构建失败 · 精度下降 · 内存泄漏
30
综合实战
全流程部署
端到端测试 · 生产最佳实践 · 总结展望