📘 TensorRT 实战 · 量化感知训练
🎯 30章 从入门到部署
01
TensorRT 概述
核心优势 · 推理加速 · 显存优化
02
深度学习模型量化基础
对称/非对称量化 · INT8 vs FP16
03
量化感知训练 (QAT) 原理
FakeQuantize · QAT vs PTQ
04
TensorRT 开发环境搭建
CUDA · cuDNN · 版本匹配
05
ONNX 模型导出与优化
ONNX-Simplifier · 算子检查
06
TensorRT 模型构建器
Builder配置 · 层融合 · 自动调优
07
引擎序列化与反序列化
.engine 保存/加载 · 跨平台
08
PyTorch QAT 实现 (一)
torch.quantization · FakeQuantize
09
PyTorch QAT 实现 (二)
模型导出 · 精度对比
10
TensorRT INT8 校准
校准器实现 · Entropy / MinMax
11
动态形状 (Dynamic Shapes)
动态Batch · 优化配置文件
12
TensorRT 插件开发 (一)
IPluginV2 · 自定义激活函数
13
TensorRT 插件开发 (二)
序列化 · 注册与性能调试
14
多流推理 (Multi-Stream)
CUDA Stream · 性能测试
15
TensorRT 与 DeepStream
GStreamer集成 · 视频流推理
16
模型精度评估
Polygraphy · 精度调试策略
17
性能分析工具
Nsight Systems · trtexec
18
C++ API 实战
加载引擎 · 推理 · 性能对比
19
Python API 实战
Python加载引擎 · API差异
20
部署到边缘设备
Jetson · 功耗与性能平衡
21
部署到云端
Triton · 弹性伸缩 · A/B测试
22
TensorFlow 集成
TF-TRT · 对比原生TensorRT
23
ONNX Runtime 集成
TensorRT执行提供程序 · 性能
24
稀疏化推理
Ampere稀疏 · 部署实战
25
低精度推理 (FP8/INT4)
量化原理 · 支持现状 · 挑战
26
模型安全与加密
AES加密 · 解密加载 · 最佳实践
27
常见错误与调试
错误码解析 · 日志分析
28
PyTorch JIT 集成
TorchScript · JIT vs ONNX
29
量化实战项目 (一)
需求分析 · QAT训练 · 部署
30
量化实战项目 (二)
FP32/FP16/INT8对比 · 上线监控