01
GPU计算基础
GPU架构概述 · CUDA编程模型 · 内存层次结构 · 量化模型为何需要GPU
架构CUDA内存
02
环境搭建
NVIDIA驱动 · CUDA Toolkit · cuDNN · Docker GPU · PyTorch/TF验证
驱动Docker验证
03
数据加载优化
DataLoader · num_workers · pin_memory · prefetch_factor · 内存映射
IO多进程吞吐
04
混合精度训练
FP16/FP32 · AMP · 损失缩放 · 梯度裁剪 · 实战案例
AMP精度加速
05
分布式训练基础
数据并行 · DDP · 梯度同步 · NCCL后端
分布式NCCLDDP
06
多GPU训练策略
模型并行 · 流水线并行 · 张量并行 · 混合并行 · Horovod
并行Horovod策略
07
梯度累积与优化
梯度累积 · 检查点 · 梯度压缩 · 稀疏通信
累积压缩通信
08
算子融合优化
CUDA Graph · TorchScript · JIT · 算子融合 · 自定义CUDA
融合JITCUDA
09
内存优化技巧
梯度检查点 · 激活重计算 · 内存碎片 · 显存池化 · ZeRO
显存ZeRO检查点
10
数据预处理加速
NVIDIA DALI · 数据增强GPU化 · JPEG解码 · 流水线设计
DALIGPU流水线
11
模型量化基础
量化原理 · PTQ/QAT · 对称/非对称 · 量化感知训练
INT8PTQQAT
12
INT8量化实战
TensorRT INT8 · PyTorch量化 · 校准数据集 · 精度调优
TensorRT校准INT8
13
模型剪枝与稀疏化
结构化剪枝 · 非结构化 · 稀疏矩阵 · NVIDIA ASP
剪枝稀疏ASP
14
知识蒸馏
蒸馏原理 · 温度参数 · 软标签 · 学生网络 · 蒸馏+量化
蒸馏软标签压缩
15
推理优化
TensorRT · ONNX Runtime · OpenVINO · Triton Server
推理TensorRTONNX
16
性能分析工具
Nsight Systems · Nsight Compute · PyTorch Profiler · TensorBoard
ProfilerNsight分析
17
瓶颈定位与调优
计算/内存/通信/IO瓶颈 · 调优方法论
瓶颈调优方法论
18
大规模训练技巧
学习率调度 · Warmup · Batch Size · 梯度裁剪 · EMA
调度WarmupEMA
19
模型并行进阶
Megatron-LM · DeepSpeed · 张量并行 · 序列并行
MegatronDeepSpeed并行
20
流水线并行
GPipe · PipeDream · 1F1B · 负载均衡 · 梯度累积
GPipe1F1B流水线
21
ZeRO优化器
ZeRO-1/2/3 · Offload · CPU-GPU混合 · ZeRO++
ZeROOffload显存
22
通信优化
NCCL调优 · 环形/树形AllReduce · 通信计算重叠
NCCLAllReduce重叠
23
网络架构优化
ResNet优化 · Transformer优化 · Attention · FlashAttention
架构AttentionFlash
24
自定义CUDA内核
CUDA C++ · 共享内存 · Warp Shuffle · 向量化加载
CUDAWarp内核
25
GPU集群管理
Slurm · Kubernetes GPU · GPU共享 · MIG
集群SlurmMIG
26
成本优化
Spot实例 · GPU选择 · 弹性训练 · 混合云
成本Spot混合云
27
模型部署优化
模型压缩 · 动态批处理 · 版本管理 · A/B测试
部署批处理A/B
28
监控与告警
GPU指标 · 异常检测 · 自动扩缩容 · 日志分析
监控告警扩缩容
29
案例实战1
高频因子挖掘GPU加速 · 回测优化 · 实盘延迟优化
量化因子回测
30
案例实战2
大语言模型量化训练 · 推荐系统GPU · 多模态分布式
LLM推荐多模态