🚀 TensorRT 实战 深度学习框架对接

📚 30章 · 从入门到部署
1
TensorRT 概述 核心
什么是TensorRT · 推理角色 · 延迟/吞吐量/显存优化
2
环境搭建 CUDA+cuDNN
版本选择 · tar/Debian安装 · 验证安装
3
ONNX 基础 中间表示
ONNX标准 · 导出与可视化
4
PyTorch → ONNX torch.onnx
动态/静态轴 · 常见错误修复
5
TensorFlow → ONNX tf2onnx
Keras转换 · TF-TRT对比
6
ONNX 模型优化 简化&验证
onnx-simplifier · 常量折叠 · 节点融合
7
TensorRT 核心API 五大对象
Builder · Network · Config · Engine · Context
8
构建TensorRT引擎 序列化
ONNX构建 · 序列化/反序列化 · 保存加载
9
隐式/显式批量 动态形状
批量维度 · setBindingDimensions
10
动态形状 Optimization
kOPT/kMIN/kMAX · 动态输入场景
11
INT8量化原理 校准
对称/非对称 · KL散度 · 直方图校准
12
INT8量化实践 Calibrator
Int8Calibrator · 熵/MinMax · 精度评估
13
FP16 & TF32 混合精度
半精度优势 · Ampere TF32 · 配置
14
Plugin自定义算子 IPluginV2
接口实现 · 注册序列化 · ONNX集成
15
Python API pycuda
pycudainit · 推理 · 内存管理
16
C++ API Stream同步
推理流程 · Event同步 · 性能对比
17
多流推理 Multi-Stream
CUDA Stream并发 · 吞吐量最大化
18
DeepStream集成 GStreamer
DeepStream架构 · 视频流AI推理
19
Triton推理服务器 模型仓库
Triton架构 · 动态批处理 · 并发
20
ONNX Runtime集成 ORT-TRT
执行提供者 · 混合执行 · 性能调优
21
模型压缩与剪枝 结构化
结构化剪枝 · 权重共享 · 量化协同
22
Profiling工具 Nsight
NVIDIA Nsight Systems · trtexec · Profiler
23
性能瓶颈分析 调优
数据传输 · Kernel Launch · 显存碎片
24
TensorRT 10新特性 FP8/MoE
API变更 · FP8支持 · 混合专家优化
25
Transformer优化 FasterTransformer
Attention优化 · KV Cache管理
26
CNN模型优化 融合策略
卷积融合 · ReLU融合 · 池化优化
27
多GPU推理 NCCL
模型并行/数据并行 · 多卡实践
28
边缘端部署 Jetson
DLA加速 · 功耗与性能平衡
29
安全与版本兼容 迁移指南
ABI兼容 · 模型加密与保护
30
综合实战 端到端
PyTorch训练→部署 · 性能调优 · 监控回滚
📢 ： ｜