⚡ GPU负载均衡 · 实战技巧
📚 30章 完整体系
🎯 从入门到精通
🧩 30个实战章节
友好色系
🌈 明快 · 柔和
01
负载均衡概述
GPU负载不均
典型表现
为什么需要
02
GPU架构基础
SM & CUDA Core
Warp调度
内存层次
03
性能分析工具入门
Nsight Systems
Nsight Compute
nvidia-smi
04
线程束发散
Warp Divergence
分支避免
代码重构
05
内存访问模式
合并访问
共享内存
Bank Conflict
06
负载均衡策略概览
静态/动态
混合策略
选择指南
07
静态负载均衡
块划分
循环划分
任务分配
08
动态负载均衡
Work Stealing
Task Pool
GPU实现
09
网格与块大小优化
Grid/Block维度
Occupancy
调参实战
10
原子操作与锁
AtomicAdd
锁粒度
无锁编程
11
流与并发执行
多流并发
Stream负载
异步操作
12
CUDA Graphs
图捕获
重放
减少CPU开销
13
动态并行
内核启动内核
递归
注意事项
14
稀疏矩阵运算负载均衡
CSR格式
行重映射
平衡分配
15
图计算负载均衡
GNN负载
邻居采样
分区策略
16
深度学习训练负载均衡
Data Parallelism
Gradient Accumulation
AllReduce
17
推理服务负载均衡
Batch调度
动态Batching
模型并行
18
多GPU通信负载
NCCL
Ring AllReduce
通信计算重叠
19
CPU-GPU协同负载
CPU预处理
Pinned Memory
异步传输
20
负载均衡案例分析（一）
N-body
粒子分解
动态调整
21
负载均衡案例分析（二）
光线追踪
Tile划分
自适应采样
22
负载均衡案例分析（三）
数据库查询
Join并行
数据倾斜
23
Profiling实战 · 定位负载不均
Nsight Systems
热点分析
瓶颈识别
24
Profiling实战 · 内核分析
Nsight Compute
指令级优化
Memory/Compute平衡
25
自动调优（Auto-tuning）
参数搜索
贝叶斯优化
OpenTuner
26
负载均衡与能耗
功耗墙
频率缩放
能效比
27
故障排查
负载不均原因
调试技巧
日志分析
28
未来趋势
MIG
CXL互连
异构计算
29
综合实战（一）
从零构建
需求分析
设计实现
30
综合实战（二）
性能对比
调优迭代
最佳实践