Tensor Core 矩阵运算入门 · 课程目录

01 Tensor Core 入门

GPU架构演进硬件原理矩阵基础

📄 01.html 开始学习

02 CUDA 编程环境搭建

驱动安装 Toolkit配置 cuDNN 验证

📄 02.html 开始学习

03 CUDA 基础语法

Kernel编写线程层次内存模型

📄 03.html 开始学习

04 矩阵乘法基础

CPU实现 GPU朴素乘法瓶颈分析

📄 04.html 开始学习

05 共享内存优化

共享内存原理 Tiling Bank Conflict

📄 05.html 开始学习

06 Tensor Core 编程模型

WMMA API fragment 加载/存储

📄 06.html 开始学习

07 WMMA 矩阵乘法

mma_sync 16x16x16 代码实战

📄 07.html 开始学习

08 布局与数据类型

行/列主序 fp16/bf16/tf32 精度权衡

📄 08.html 开始学习

09 分块策略

大矩阵分块 Tile大小寄存器压力

📄 09.html 开始学习

10 异步拷贝

memcpy_async Pipeline 隐藏延迟

📄 10.html 开始学习

11 cuBLAS 库入门

cuBLAS API cublasGemmEx 对比

📄 11.html 开始学习

12 cuBLAS 高级用法

batched GEMM strided 混合精度

📄 12.html 开始学习

13 CUTLASS 简介

架构模板化GEMM Epilogue

📄 13.html 开始学习

14 CUTLASS Tensor Core

调用Tensor Core Collective API

📄 14.html 开始学习

15 卷积与 Tensor Core

implicit GEMM cuDNN Winograd

📄 15.html 开始学习

16 Transformer 矩阵运算

Attention QKV投影 Softmax

📄 16.html 开始学习

17 FlashAttention 原理

IO感知 tiling Tensor Core

📄 17.html 开始学习

18 混合精度训练

AMP Loss Scaling Master Weights

📄 18.html 开始学习

19 性能分析工具

Nsight Systems Compute Roofline

📄 19.html 开始学习

20 Profiling 实战

Tensor Core利用率 Occupancy ILP

📄 20.html 开始学习

21 矩阵布局优化

Swizzle 数据重排 Bank Conflict

📄 21.html 开始学习

22 寄存器优化

寄存器分配 ILP 循环展开

📄 22.html 开始学习

23 Warp 级编程

Warp Shuffle Warp Matrix Cooperative Groups

📄 23.html 开始学习

24 多 GPU 编程

NCCL P2P 多GPU GEMM

📄 24.html 开始学习

25 稀疏矩阵乘法

结构化稀疏 2:4模式 Fine-grained

📄 25.html 开始学习

26 INT8 量化

量化原理 INT8 Tensor Core PTQ/QAT

📄 26.html 开始学习

27 自定义 Kernel 实战

从零实现GEMM 调试调优

📄 27.html 开始学习

28 图神经网络矩阵运算

GCN GAT 消息传递

📄 28.html 开始学习

29 推荐系统

DLRM DCN Embedding优化

📄 29.html 开始学习

30 前沿与展望

Hopper架构 FP8 未来趋势

📄 30.html 开始学习