TensorRT 端侧部署 · 性能调优实战课程

TensorRT初探第1章

什么是TensorRT、为什么需要TensorRT、TensorRT在端侧部署中的角色。

环境搭建第2章

JetPack SDK安装、TensorRT版本选择、交叉编译工具链配置。

ONNX基础第3章

ONNX模型格式解析、PyTorch导出ONNX、ONNX-Simplifier使用。

模型转换入门第4章

onnx2trt命令行工具、trtexec基本用法、转换常见问题。

TensorRT API基础第5章

C++ API vs Python API、Builder/Config/Engine/Runtime核心对象。

网络构建第6章

INetworkDefinition详解、添加层与张量、动态shape支持。

优化器配置第7章

BuilderConfig深度解析、工作空间设置、精度模式选择(FP32/FP16/INT8)。

INT8量化原理第8章

对称量化与非对称量化、校准数据集准备、熵校准与最小化校准。

INT8量化实战第9章

INT8 Calibrator实现、量化敏感层分析、混合精度部署。

动态形状第10章

动态Batch与动态分辨率、Optimization Profile配置、形状张量处理。

内存管理第11章

显存池机制、DLA(DLA Core)使用、内存带宽优化技巧。

多流并发第12章

CUDA Stream与TensorRT、多Engine并行、异步推理实现。

插件开发第13章

IPluginV2接口详解、自定义算子注册、插件序列化与反序列化。

常见算子优化第14章

Conv+BN融合、GELU激活函数插件、LayerNorm优化。

模型剪枝与稀疏第15章

结构化剪枝、NVIDIA Ampere稀疏特性、2:4稀疏模式。

知识蒸馏第16章

Logit蒸馏、特征蒸馏、TinyBERT蒸馏实战。

Profiling工具第17章

NVIDIA Nsight Systems、trtexec --profiling、自定义Profiler。

性能分析指标第18章

Latency/Throughput/GPU利用率、带宽瓶颈分析、计算瓶颈分析。

端侧推理引擎第19章

TensorRT vs TensorFlow Lite vs ONNX Runtime、选型策略。

多平台适配第20章

Jetson Nano/Orin/AGX Xavier、DRIVE平台、嵌入式Linux。

模型序列化第21章

Engine文件格式、序列化与反序列化、版本兼容性。

安全部署第22章

模型加密、Engine签名验证、防止模型窃取。

端侧摄像头管线第23章

GStreamer集成、V4L2采集、预处理与后处理优化。

实时推理第24章

视频流处理、帧率控制、丢帧策略。

多模型串联第25章

特征提取+分类器、检测+跟踪、端到端流水线。

调试技巧第26章

断点调试Engine、层输出对比、精度回退策略。

常见错误排查第27章

Shape不匹配、Unsupported Op、内存不足、精度下降。

性能调优方法论第28章

Amdahl定律应用、Roofline模型、迭代优化流程。

端侧部署案例第29章

YOLOv8目标检测、ResNet分类、BERT NLP。

未来趋势第30章

TensorRT 10新特性、Transformer优化、端侧大模型部署。