TensorRT 自定义插件开发指南 · 课程目录

01 TensorRT与自定义插件概述

什么是TensorRT 为什么需要插件基本流程

02 开发环境搭建

CUDA cuDNN TensorRT安装 CMake配置验证环境

03 TensorRT核心API速览

BuilderNetworkConfigEngineContextRuntime

04 插件基类IPluginV2详解

核心虚函数生命周期序列化/反序列化

05 插件工厂IPluginCreator

注册机制创建插件名称与版本管理

06 第一个插件：ReLU实现

从零编写ReLU注册编译与测试

07 插件输入输出定义

getNbOutputsgetOutputDimensionssupportsFormat

08 内存管理

workspace大小enqueue绑定显存分配策略

09 序列化与反序列化

write/read缓冲区管理版本兼容性

10 插件配置层

PluginFieldPluginFieldCollection配置参数传递

11 多格式支持

supportsFormat组合FP16/INT8格式转换

12 动态形状支持

getOutputDimensionsForDynamicShapereshape动态batch

13 CUDA Kernel基础

线程模型内存模型SM与warp

14 CUDA Kernel编写实战

向量加法Kernelshared memory同步

15 插件中的CUDA流管理

cudaStream_t异步执行事件同步

16 调试技巧

printf调试cuda-gdbNsight SystemsTensorRT日志

17 性能分析

Nsight Computekernel耗时带宽利用率Occupancy

18 常见算子插件化

LayerNormGELUSoftmaxTopK

19 融合算子设计

QKV融合FFN融合减少kernel launch

20 INT8量化插件

校准量化感知训练INT8 Kernel反量化

21 插件中的循环与条件

Loop/Condition API循环插件动态控制流

22 多输入多输出插件

变长输入多输出处理动态形状索引

23 插件与TensorRT优化器

常量折叠算子融合内存复用影响

24 插件测试框架

单元测试精度对比性能基准回归测试

25 常见错误与解决方案

形状不匹配内存越界序列化失败版本冲突

26 插件版本管理

API版本演进向后兼容多版本共存

27 TensorRT 10新特性

插件API变化新工具性能提升

28 实战项目1：自定义Attention

设计到部署全流程

29 实战项目2：自定义卷积

implicit GEMMwinogradFP16优化

30 总结与最佳实践

开发规范性能调优清单社区资源

✨ TensorRT 插件开发 · 每一章都可点击跳转