CUDA · TensorRT 实战

📚 30章 算子+部署
第1章
CUDA入门：GPU架构概览
  • GPU架构
  • 编程模型
  • 向量加法
🚀 第一个CUDA程序
第2章
CUDA线程模型
  • grid/block/thread
  • 索引计算
  • warp & SIMT
🧵 线程层次
第3章
CUDA内存模型
  • 全局/共享/寄存器
  • 本地/常量/纹理
🧠 六种内存
第4章
CUDA内存优化
  • 合并访问
  • bank conflict
  • 带宽分析
⚡ 吞吐提升
第5章
CUDA核函数设计
  • __global__
  • __device__
  • __shared__
✏️ 修饰符规范
第6章
CUDA流与事件
  • 流概念
  • 异步操作
  • 多流并发
⏳ 并发执行
第7章
CUDA错误处理
  • 错误码检查
  • cudaGetLastError
  • Nsight
🐞 调试工具
第8章
CUDA数学库
  • cuBLAS
  • cuFFT
  • cuRAND
  • cuSPARSE
📐 高性能库
第9章
CUDA原子操作
  • atomicAdd
  • atomicCAS
  • 直方图
🔒 线程安全
第10章
CUDA归约优化
  • 树形归约
  • warp shuffle
  • 循环展开
🌲 高效归约
第11章
CUDA矩阵乘法
  • 朴素实现
  • 共享内存分块
  • tile优化
🧮 矩阵加速
第12章
CUDA卷积算子
  • im2col
  • Winograd
  • cuDNN对比
🔲 卷积实现
第13章
CUDA自定义算子
  • 设计流程
  • 边界处理
  • profiling
🛠️ 算子开发
第14章
CUDA算子融合
  • kernel融合
  • 减少全局访问
  • fused kernel
🔥 融合策略
第15章
TensorRT基础
  • 推理优化原理
  • 层融合
  • ONNX导出
🚄 加速引擎
第16章
TensorRT安装与配置
  • 环境要求
  • 安装步骤
  • API选择
⚙️ 环境搭建
第17章
TensorRT模型构建
  • NetworkDefinition
  • Builder/Config
  • Engine/Context
🏗️ 核心概念
第18章
TensorRT ONNX解析器
  • ONNX Parser
  • 动态shape
  • 自定义层
📄 模型解析
第19章
TensorRT INT8量化
  • 校准器原理
  • 对称/非对称
  • 精度分析
📉 低精度推理
第20章
TensorRT动态shape
  • Optimization Profile
  • 动态batch
  • 动态分辨率
📐 灵活输入
第21章
TensorRT插件开发
  • IPluginV2
  • 注册/序列化
  • 自定义算子
🔌 插件机制
第22章
TensorRT多流推理
  • 多流执行
  • 并发推理
  • 吞吐优化
📈 高吞吐
第23章
TensorRT与CUDA互操作
  • stream绑定
  • 自定义内存
  • CUDA Graph
🔄 深度融合
第24章
TensorRT部署实战
  • C++部署
  • Python部署
  • 序列化加载
📦 生产部署
第25章
TensorRT性能调优
  • trtexec
  • Nsight Systems
  • tactic选择
⚡ 极致调优
第26章
CUDA算子与TensorRT集成
  • Plugin注册
  • ONNX自定义算子
  • 端到端推理
🧩 集成实战
第27章
实战：YOLOv5优化部署
  • 预处理CUDA算子
  • 后处理算子
  • INT8量化
🔍 目标检测
第28章
实战：BERT优化部署
  • Attention融合
  • 动态batch
  • FP16推理
🧠 NLP加速
第29章
实战：Stable Diffusion
  • UNet算子优化
  • 多流推理
  • 内存优化
🎨 扩散模型
第30章
课程总结与进阶
  • Hopper架构
  • DPX指令
  • 学习资源
🚩 未来之路
📢 · 专注资料整理