🚀 CUDA · TensorRT 实战

📘 30章从入门到部署

1

01 CUDA入门

GPU计算历史 · CUDA架构 · CPU vs GPU · 编程模型 & Hello World

01.html

2

02 CUDA环境搭建

NVIDIA驱动 · CUDA Toolkit · cuDNN · 环境变量 & 验证

02.html

3

03 CUDA编程基础

核函数(Kernel) · 线程层次 · grid/block/thread · <<<>>> 语法

03.html

4

04 CUDA内存模型

全局/共享/寄存器/本地/常量/纹理内存

04.html

5

05 CUDA内存管理

cudaMalloc/Free · cudaMemcpy · 统一内存 · 零拷贝

05.html

6

06 CUDA线程同步

__syncthreads() · 原子操作 · 线程块间同步策略

06.html

7

07 CUDA流与事件

Stream概念 · 并发执行 · Event计时 & 同步

07.html

8

08 CUDA性能优化 (上)

内存合并访问 · Bank Conflict · 循环展开 & 预取

08.html

9

09 CUDA性能优化 (下)

Occupancy优化 · 指令级并行 · Nsight分析

09.html

10

10 CUDA库实战

cuBLAS矩阵乘 · cuFFT · Thrust模板库

10.html

11

11 TensorRT概述

推理优化原理 · 层融合/精度校准/内核调优 · 版本演进

11.html

12

12 TensorRT环境搭建

TensorRT安装 · ONNX关系 · 网络层 & 精度模式

12.html

13

13 TensorRT基础API

Builder/Network/Config/Engine/Context · 序列化

13.html

14

14 ONNX模型导出

PyTorch→ONNX · 算子兼容性 · 动态/静态轴

14.html

15

15 TensorRT ONNX解析器

ONNX Parser · 常见错误修复 · 自定义层回退

15.html

16

16 TensorRT INT8量化

校准集 · Int8Calibrator · 精度调优

16.html

17

17 TensorRT FP16 & TF32

半精度推理 · TF32混合精度 · 精度/性能权衡

17.html

18

18 TensorRT动态形状

动态输入尺寸 · Optimization Profile · 多Profile切换

18.html

19

19 TensorRT插件开发

IPluginV2接口 · 自定义层 · 注册与使用

19.html

20

20 TensorRT Python API

Python构建Engine · 推理管线 · 对比PyTorch/ONNX

20.html

21

21 TensorRT C++ API

C++ Engine构建/推理 · 生产级部署 · 内存池管理

21.html

22

22 TensorRT多流推理

多Stream并发 · 线程安全 · 吞吐量优化

22.html

23

23 TensorRT & DeepStream

DeepStream架构 · GStreamer插件 · 视频流AI推理

23.html

24

24 TensorRT & Triton

Triton架构 · 模型仓库 · 动态批处理 & 并发模型

24.html

25

25 TensorRT模型压缩

权重剪枝 · 知识蒸馏 · 稀疏推理支持

25.html

26

26 TensorRT安全与可靠性

Engine版本兼容 · 错误处理/日志 · 回退策略

26.html

27

27 TensorRT边缘端部署

Jetson优化 · DLA加速器 · 功耗/性能平衡

27.html

28

28 实战：图像分类 ResNet50

端到端部署 · 性能基准测试 & 调优

28.html

29

29 实战：目标检测 YOLOv8

端到端部署 · NMS后处理优化 · 多尺度推理

29.html

30

30 实战：NLP模型 BERT

动态序列长度 · Transformer优化技巧 · 部署

30.html