TensorRT 模型性能瓶颈定位与优化实战 · 课程目录

TensorRT 基础认知 🧠

什么是TensorRT，为什么需要它，在AI部署中的位置

环境搭建与版本选择 ⚙️

CUDA、cuDNN、TensorRT版本匹配，Docker镜像

模型转换入门 🔄

PyTorch → ONNX → TensorRT，踩坑实录

onnx-tensorrt 工具链 🔧

onnx2trt、trtexec 命令行详解

Python API 基础 🐍

Builder, Network, Config, Engine, Context

序列化与反序列化 💾

.engine 保存/加载，序列化注意事项

动态形状 Dynamic Shape 📐

动态batch配置，性能影响

精度模式选择 🎯

FP32/FP16/INT8/TF32 区别与策略

INT8 量化实战 📉

校准集、校准器、精度验证

性能分析工具入门 ⏱️

trtexec --profilingVerbosity & --dumpProfile

NVIDIA Nsight Systems 🔬

安装配置，时间线分析，GPU空闲识别

NVIDIA Nsight Compute 🧮

内核分析，计算与访存瓶颈

TensorRT Profiling API 📊

IProfiler, IExecutionContextProfiler

Layer 级性能分析 📈

逐层耗时统计，定位慢算子

IO 性能分析 ↔️

H2D/D2H耗时，数据预处理瓶颈

算子融合 Fusion ⚡

横向/纵向融合，为什么加速

常见性能瓶颈模式 🚦

CPU-bound, Memory-bound, Compute-bound

显存优化 🧠

显存碎片、复用、池化技术

多流 Multi-Stream 推理 🌊

并发执行，提高吞吐量

异步推理与同步推理 ⏳

CUDA Stream & Event

Batch 推理优化 📦

动态/静态batch，最佳batch size

模型结构优化 ✂️

减少层数，高效算子，注意力优化

Plugin 开发入门 🧩

自定义算子，解决不支持算子

Plugin 性能调优 🚀

共享内存、寄存器、指令级并行

TensorRT + DeepStream 🎥

视频流推理性能瓶颈

Triton Inference Server ☁️

服务端部署性能分析

多GPU推理 🖥️

单进程多卡、多进程多卡，负载均衡

端到端 Pipeline 优化 🔗

预处理、推理、后处理全链路

案例1: BERT 优化 🤖

BERT模型性能瓶颈定位与优化

案例2: YOLOv8 优化 👁️

YOLOv8模型性能瓶颈定位与优化