🚀 CUDA性能剖析·瓶颈定位 30章 完全目录

⭐ 友好色系
01CUDA性能剖析概述
为什么需要性能剖析 · 目标 · 常见瓶颈类型
02GPU架构基础回顾
SM · Warp · Memory Hierarchy · Occupancy
03NVIDIA Nsight Systems入门
安装配置 · Timeline视图 · 关键指标
04NVIDIA Nsight Compute入门
Kernel Profiling · Metrics · Source Correlations
05Occupancy分析与优化
理论/实际Occupancy · 影响因素 · Block/Shared调整
06Memory带宽瓶颈
Global Memory访问 · Coalescing · Alignment/Stride
07Shared Memory优化
Bank Conflict · Padding · 动态分配
08Register压力分析
Register Spilling · Launch Bounds · __launch_bounds__
09Warp Divergence
分支预测 · 重构减少分歧 · 数据预处理
10指令级并行性
ILP概念 · Unrolling循环 · 减少指令依赖
11原子操作与锁
AtomicAdd性能 · Contention · Warp-level Primitives
12Stream与并发执行
Stream概念 · Host-Device异步 · MPS
13CUDA Graphs
Graph创建/执行 · 性能优势 · 动态图
14Pinned Memory与Zero-Copy
Pageable vs Pinned · Mapped Memory · 权衡
15Unified Memory
UM原理 · Page Faults · Prefetching/Advise
16纹理内存与表面内存
Texture Object · 纹理缓存 · 适用场景
17CUDA Tensor Core
WMMA API · 混合精度训练 · 性能收益
18CUDA Dynamic Parallelism
子核启动 · 递归 · 适用场景与限制
19多GPU编程
Peer-to-Peer · 点对点通信 · NCCL基础
20CUDA内核启动开销
Launch Latency · Kernel Fusion · Persistent Kernels
21Profiling with Nsight Graphics
图形工作负载分析 · Draw Call优化
22CUDA-MEMCHECK
内存错误检测 · Race Condition · 初始化检查
23Nsight Perf SDK
自定义Metric · 自动化Profiling脚本
24性能计数器解读
SM Throughput · Memory Throughput · Sector Queries
25Roofline Model
计算强度 · 带宽上限 · 计算上限 · 模型应用
26CUDA Kernel Tuning策略
Grid/Block启发式 · 自动调优 · 参数扫描
27CUDA与CPU协同优化
数据分块 · 流水线 · 负载均衡
28深度学习模型性能剖析
卷积优化 · Transformer瓶颈 · 算子融合
29实际案例:矩阵乘法/Reduce/Stencil
矩阵乘法优化 · Reduce优化 · Stencil优化
30课程总结与最佳实践
性能优化清单 · 常见误区 · 持续学习资源