TensorRT 模型裁剪与加速实战 · 课程目录

🧩 30 章从入门到专家 ✨ 友好色系

01

TensorRT 概述核心

什么是TensorRT · 核心优势 · AI部署角色

02

环境搭建 CUDA

CUDA/cuDNN安装 · TensorRT安装验证 · Python/C++环境

03

模型序列化基础 ONNX

ONNX格式 · PyTorch/TensorFlow导出ONNX

04

ONNX模型调试 GraphSurgeon

ONNX GraphSurgeon · 可视化 · 常见错误修复

05

TensorRT 基础API Runtime

创建Runtime/Engine · 反序列化 · 执行推理

06

构建器配置 Builder

Builder/Config · 工作空间 · FP32/FP16/INT8

07

网络定义API Network

Network Definition · 添加层/张量 · 设置权重

08

Parser 解析器 ONNX/Caffe

ONNX Parser · Caffe Parser · UFF历史

09

隐式/显式批处理动态形状

批处理模式 · 动态形状支持 · 优化Profile

10

动态形状实战 Profile

动态输入维度 · 多Profile · 运行时形状绑定

11

FP16 量化加速半精度

半精度推理原理 · 启用FP16 · 精度/性能权衡

12

INT8 量化基础校准

对称/非对称量化 · 校准集 · Calibrator

13

INT8 量化实战校准器

自定义校准器 · INT8校准 · 精度评估

14

层融合与图优化融合

自动融合策略 · 垂直/水平融合 · 常见模式

15

模型裁剪原理剪枝

权重剪枝 · 结构化剪枝 · 通道剪枝 · 性能影响

16

结构化剪枝实战 L1范数

L1通道剪枝 · 微调 · 与TensorRT结合

17

知识蒸馏基础蒸馏

蒸馏原理 · 软/硬标签 · 温度参数

18

知识蒸馏实战教师学生

教师/学生模型 · 蒸馏损失 · 训练流程

19

QAT 原理量化感知

QAT原理 · 伪量化节点 · 训练流程

20

QAT 实战 PyTorch

PyTorch QAT · 导出QAT模型 · TensorRT加载

21

稀疏化加速 2:4稀疏

NVIDIA 2:4稀疏 · 稀疏训练 · TensorRT推理

22

多流推理优化 Stream

Stream概念 · 多Stream并行 · 同步/异步

23

TensorRT 插件开发 Plugin

Plugin接口 · 自定义层 · 注册与使用

24

插件实战自定义

自定义激活/池化 · 性能调试

25

内存优化策略显存

内存池管理 · 张量复用 · 显存/内存交换

26

DeepStream 集成 GStreamer

DeepStream简介 · GStreamer管道 · 推理后端

27

Triton 推理服务器 Triton

Triton架构 · 模型仓库 · 动态批处理/并发

28

边缘端部署优化 Jetson

Jetson平台 · DLA加速 · 功耗/性能平衡

29

性能分析与Profiling Nsight

NVIDIA Nsight Systems · TensorRT Profiling · 瓶颈定位

30

综合实战全流程

PyTorch→TensorRT部署 · 端到端性能对比 · 最佳实践