TensorRT 实战
📘 30章 · 从入门到部署
v10
1
01
TensorRT概述
什么是TensorRT · 核心优势 · AI部署位置
2
02
环境搭建
CUDA与cuDNN安装 · TensorRT安装验证
3
03
ONNX基础
ONNX格式 · PyTorch导出 · 模型可视化
4
04
TensorRT基础API
Builder/Config · Network/Engine · 序列化
5
05
ONNX解析器
加载模型 · 动态输入 · 错误排查
6
06
模型构建器
Network Definition API · 添加层与张量
7
07
精度校准
FP32/FP16原理 · INT8量化 · 校准集
8
08
INT8量化实战
校准器选择 · 执行校准 · 精度与性能
9
09
动态形状
动态输入 · Profile配置 · 可变批量
10
10
内存管理
显存池 · IExecutionContext优化 · 防泄漏
11
11
插件开发
Plugin接口 · 自定义层 · 注册与使用
12
12
多流推理
多流并发 · Stream管理 · 多GPU
13
13
性能分析工具
Nsight Systems · TensorRT Profiler
14
14
模型优化技巧
层融合 · 常量折叠 · 算子替换 · 图优化
15
15
常见模型部署
ResNet · YOLO · Transformer实战
16
16
DeepStream集成
DeepStream简介 · 视频管线 · GStreamer
17
17
Triton推理服务器
模型仓库 · 并发请求 · 管理
18
18
Python绑定
Python API · PyTorch集成 · 调试
19
19
C++部署
C++ API详解 · 性能对比 · 生产环境
20
20
稀疏化与剪枝
结构化剪枝 · 非结构化 · TensorRT支持
21
21
知识蒸馏
蒸馏原理 · 教师-学生 · 部署优化
22
22
多精度混合推理
自动混合精度 · 手动控制 · 验证
23
23
TensorRT 10新特性
新API · 性能提升 · 新算子
24
24
边缘设备部署
Jetson优化 · 功耗平衡 · 嵌入式技巧
25
25
模型安全
模型加密 · 防逆向 · 安全推理
26
26
自定义数据加载器
DLA使用 · 自定义IO · 异步加载
27
27
调试与日志
日志级别 · 错误码 · 常见问题
28
28
性能基准测试
延迟/吞吐量 · 批处理优化 · 评估
29
29
生产环境最佳实践
CI/CD · 模型版本 · 监控告警
30
30
综合项目实战
PyTorch→TensorRT · 调优 · 部署上线