TensorRT 插件编写与自定义算子实战

01 TensorRT 基础认知

什么是TensorRT 推理优化原理层融合/精度校准部署流程概览

02 开发环境搭建

CUDA/cuDNN版本 tar包与deb安装验证安装环境问题排查

03 TensorRT 核心API入门

Builder/Network 输入输出张量添加层 Engine与序列化

04 ONNX解析与模型导入

ONNX格式简介 ONNX Parser 动态输入形状调试导入失败

05 第一个推理程序

ONNX→Engine流程加载推理绑定缓冲区性能基准测试

06 插件机制概述

为什么需要插件插件工作流程 IPluginV2 IPluginCreator

07 插件编写基础 (一)

getPluginType getPluginVersion getNbOutputs getOutputDimensions

08 插件编写基础 (二)

initialize/terminate enqueue getWorkspaceSize clone

09 插件编写基础 (三)

serialize/deserialize supportsFormatCombination configurePlugin

10 插件注册与工厂模式

IPluginCreator实现 REGISTER_TENSORRT_PLUGIN 命名空间

11 第一个自定义插件

ReLU插件(CPU参考) CUDA kernel 集成测试

12 插件中的内存管理

workspace申请释放避免内存泄漏 cudaMallocAsync最佳实践

13 支持多种数据类型与格式

supportsFormatCombination FP32/FP16/INT8 kernel

14 动态形状插件

动态输入尺寸 getOutputDimensions动态 enqueue动态逻辑

15 插件调试技巧

cuda-gdb调试kernel 日志回调崩溃原因分析

16 性能优化基础

CUDA kernel优化原则共享内存/warp优化 Nsight工具

17 融合算子插件 (一)

多操作融合减少kernel launch Conv+Bias+ReLU

18 融合算子插件 (二)

enqueue融合逻辑寄存器缓存精度与性能验证

19 自定义激活函数

Swish/SiLU插件 GELU近似实现 Transformer替换

20 自定义归一化层

LayerNorm插件 RMSNorm插件归一化梯度

21 自定义注意力机制

Flash Attention风格分块+shared memory BERT模型测试

22 插件与INT8量化

INT8插件支持量化/反量化校准数据集

23 多流与并发推理

多stream处理 cudaStream_t并发线程安全性

24 插件序列化与反序列化

自定义状态序列化版本兼容性跨平台部署

25 插件测试框架

单元测试验证 CPU参考对比自动化测试脚本

26 常见错误与解决方案

注册失败/维度不匹配数据类型不支持内存越界/超时

27 高级插件特性

IPluginV2DynamicExt IPluginV2IOExt 复杂动态场景

28 插件性能剖析与调优

TensorRT Profiler Nsight Systems/Compute 端到端分析

29 实战项目一：YOLOv5后处理

NMS插件解码框与类别端到端优化

30 实战项目二：Transformer自定义算子

FlashAttention插件 FusedGELU插件 GPT模型部署

📘 TensorRT 插件实战 30章 · 从入门到部署