🚀 GPU异步通信
突破CPU同步瓶颈
📚 30章 · 异步精通
01
GPU异步通信概述：为什么需要异步？CPU同步瓶颈的本质
核心概念
动机
02
CUDA流（Stream）基础：流的创建、销毁与同步
Stream
基础API
03
默认流与自定义流：默认流的阻塞特性与自定义流的非阻塞优势
阻塞
非阻塞
04
流调度机制：GPU硬件如何并行执行多个流
硬件调度
并发
05
异步内存拷贝：cudaMemcpyAsync的使用与原理
MemcpyAsync
DMA
06
异步内核启动：内核函数在流中的异步执行
Kernel
Launch
07
流同步机制：cudaStreamSynchronize与cudaDeviceSynchronize
同步
屏障
08
事件（Event）基础：事件的创建、记录与同步
Event
时间戳
09
事件计时：使用事件精确测量GPU操作耗时
Profiling
延迟
10
流间依赖：使用事件实现流之间的顺序执行
依赖
顺序
11
多流并发模式：Overlap计算与数据传输
Overlap
并发
12
深度Overlap：多流流水线设计模式
流水线
吞吐
13
异步操作与CPU线程：多线程管理多个流
CPU线程
并发
14
CUDA回调函数：cudaStreamAddCallback的异步通知
回调
通知
15
异步错误处理：异步操作中的错误捕获与调试
错误
调试
16
CUDA图形（Graphs）简介：静态图与动态图的异步执行
Graph
静态图
17
图捕获与重放：将流操作捕获为图并高效重放
Capture
Replay
18
异步内存管理：cudaMallocAsync与cudaFreeAsync
AllocAsync
内存
19
内存池（Memory Pool）：异步内存池的创建与使用
MemPool
池化
20
异步与零拷贝（Zero-Copy）：映射内存的异步访问
Zero-Copy
映射
21
异步与统一内存（Unified Memory）：UM的异步迁移机制
UM
迁移
22
MPS（Multi-Process Service）中的异步：多进程共享GPU
MPS
多进程
23
CUDA感知MPI：分布式训练中的异步通信
MPI
分布式
24
NCCL基础：NVIDIA集合通信库的异步操作
NCCL
集合通信
25
NCCL与CUDA流集成：在流中发起集合通信
Stream集成
NCCL
26
异步与GPU Direct：GPU间直接通信的异步模式
GPU Direct
P2P
27
性能分析工具：Nsight Systems中的异步可视化
Nsight
可视化
28
常见异步陷阱：隐式同步、过度同步与资源竞争
陷阱
隐式同步
29
异步编程最佳实践：设计模式与性能调优清单
最佳实践
调优
30
综合案例：构建一个端到端的异步深度学习训练流水线
案例
训练流水线
📖 共30章 · 点击卡片跳转