🚀 TensorRT & CUDA 协同优化

01

TensorRT概述 基础

什么是TensorRT · 推理优化地位 · 与CUDA关系

02

CUDA基础回顾 核心

编程模型 · 线程层次 · 内存 · SM与Warp

03

TensorRT安装与配置 环境

环境要求 · Deb/RPM/Tar · 验证安装 · 常见问题

04

TensorRT核心概念 概念

Network · Builder · Engine · Context · Binding

05

模型构建与序列化 实战

ONNX构建网络 · 设置属性 · 序列化/反序列化

06

ONNX模型解析 算子

算子支持 · 自定义算子 · 动态shape · 验证

07

精度校准与量化 INT8

FP32/FP16/INT8 · 校准数据集 · 校准器 · 评估

08

动态Shape处理 优化

动态Batch/尺寸 · Profile · Shape Range策略

09

内存管理优化 显存

显存池 · DLA内存 · 传输优化 · 零拷贝

10

CUDA Stream与并发 并发

Stream概念 · 多Stream并行 · 同步 · CUDA Graph

11

Kernel融合与算子优化 融合

层融合原理 · Conv+Bias+ReLU · 自定义融合

12

TensorRT Plugin开发 进阶

Plugin接口 · 注册/使用 · 序列化 · 调优

13

CUDA Kernel手动优化 CUDA

Shared Memory · Bank Conflict · Warp原语 · Occupancy

14

TensorRT与PyTorch集成 集成

torch2trt · torch_tensorrt · 动态图转静态图 · 推理

15

TensorRT与TensorFlow集成 TF

TF-TRT · SavedModel · TF2.x · 混合精度

16

多GPU推理优化 多卡

负载均衡 · NCCL · Pipeline并行 · 数据并行

17

Profiling与调试 调试

Nsight Systems · TensorRT Profiler · 瓶颈分析

18

图优化与常量折叠 图优化

常量折叠 · 图简化 · 无用节点消除 · 子图替换

19

稀疏化与剪枝 剪枝

结构化/非结构化剪枝 · 稀疏TensorRT · 加速原理

20

Attention机制优化 注意力

FlashAttention · MHA融合 · KV Cache · PagedAttention

21

TensorRT-LLM框架 LLM

LLM推理挑战 · 架构 · In-flight Batching · Continuous Batching

22

TensorRT-LLM模型部署 部署

模型转换 · 权重绑定 · KV Cache · 生成策略

23

TensorRT-LLM性能调优 调优

Max Batch · Scheduling · 显存优化 · 吞吐/延迟

24

边缘设备部署 Jetson

Jetson优化 · DLA · 功耗/性能 · Tegra优化

25

云端部署 Triton

Triton集成 · 动态Batch · 模型版本管理 · A/B测试

26

自定义数据加载与预处理 数据

GPU预处理 · DALI · 异步加载 · 增强流水线

27

安全与可靠性 安全

模型加密 · Engine签名 · 运行时验证 · 异常处理

28

TensorRT与ONNX Runtime对比 对比

架构差异 · 性能对比 · 适用场景 · 混合使用

29

TensorRT最新特性 新特性

TensorRT 10 · Hopper · FP8 · Transformer Engine

30

综合实战项目 毕业项目

端到端推理系统 · 性能调优全流程 · 生产部署