📘 TensorRT 实战
30 章 · 从入门到部署
⚡
模型转换 · 精度校准 · 推理加速
01
TensorRT 概述
核心优势 · 推理加速 · 内存优化 · AI部署角色
02
环境搭建
CUDA/cuDNN · TensorRT安装 · 验证安装
03
ONNX 基础
ONNX格式 · 中间表示 · PyTorch/TF导出
04
onnx-tensorrt 转换器
工作原理 · 算子范围 · 常见错误解决
05
TensorRT API 入门
C++/Python API · Builder/Engine · 推理程序
06
模型序列化
Engine序列化 · .trt/.plan · 保存与加载
07
动态形状支持
动态Batch/尺寸 · Optimization Profile · 内存管理
08
精度校准基础
FP32/FP16/INT8对比 · 精度下降 · 校准必要性
09
INT8 校准原理
饱和/非饱和映射 · 校准算法 · Entropy/Percentile
10
校准器实现
Int8Calibrator · 自定义校准器 · 数据预处理
11
校准过程实战
校准脚本 · 监控校准 · 结果可视化
12
精度评估指标
mAP/Accuracy/PSNR · 精度与速度权衡
13
逐层精度分析
Profiling工具 · 定位瓶颈层 · 混合精度
14
量化感知训练 (QAT)
QAT原理 · PyTorch实现 · 导出与部署
15
后训练量化 (PTQ)
PTQ vs QAT · 最佳实践 · 边缘设备应用
16
稀疏化与剪枝
稀疏模型支持 · 结构化剪枝 · 稀疏推理加速
17
插件 (Plugin) 开发
自定义算子 · Plugin接口 · 注册与使用
18
多流推理
Stream/Context · 多GPU · 异步并发控制
19
DLA 部署
NVIDIA DLA架构 · 支持算子 · 协同推理
20
TensorRT 与 Triton 集成
Triton架构 · TensorRT后端 · 动态Batch
21
TensorRT 与 DeepStream
DeepStream管道 · 推理引擎 · 视频分析优化
22
TensorRT 与 ROS 集成
机器人场景 · ROS节点封装 · 实时性保障
23
TensorRT 与 OpenCV
图像预处理优化 · GPU加速 · 端到端管线
24
TensorRT 与 ONNX Runtime 对比
性能/易用性对比 · 适用场景选择
25
TensorRT 10 新特性
新算子 · 性能提升 · API迁移指南
26
常见错误排查
内存不足 · 算子不支持 · 形状/精度异常
27
性能调优
Profiling · 层融合 · 内存池 · Kernel自动调优
28
边缘设备部署
Jetson配置 · 功耗平衡 · 模型压缩
29
安全与版本管理
模型加密 · 版本兼容 · 回滚 · CI/CD
30
综合实战项目
PyTorch→TensorRT全流程 · 精度校准 · 生产部署