01
GPU概述与硬件架构
GPU发展简史 · GPU vs CPU · NVIDIA架构(Tesla~Hopper) · 核心规格解读
硬件架构
02
CUDA生态全景
CUDA Toolkit · cuDNN · TensorRT · NCCL · CUDA-X AI · 驱动版本对应
生态CUDA
03
Linux系统准备
Ubuntu 22.04安装 · SSH · 网络/源/防火墙 · Nouveau禁用
Linux基础
04
NVIDIA驱动安装
驱动版本策略 · runfile/apt · DKMS · 验证与故障排查
驱动NVIDIA
05
CUDA Toolkit安装
CUDA 12.x · 环境变量 · update-alternatives · nvcc & nvidia-smi
CUDA工具链
06
cuDNN安装与配置
版本选择 · deb/tar安装 · mnistCUDNN验证 · 链接错误解决
cuDNN深度学习
07
TensorRT安装与优化
8.x/9.x安装 · ONNX转换 · FP16/INT8量化 · 推理优化实战
TensorRT优化
08
NCCL与多卡通信
NCCL安装 · Ring/Tree算法 · nccl-tests · IB/RoCE配置
NCCL多卡
09
Docker与GPU虚拟化
NVIDIA Container Toolkit · GPU passthrough · 多容器共享 · k8s调度
Docker虚拟化
10
Python GPU生态
CUDA Python · Numba · CuPy · RAPIDS · PyTorch/TF GPU
PythonGPU
11
GPU监控与性能分析
nvidia-smi · nvtop · DCGM · Prometheus + Grafana
监控性能
12
CUDA编程基础
编程模型 · Host/Device · Kernel · 线程层次 · 内存层次
CUDA编程
13
CUDA内存管理
全局/共享/常量/纹理/统一内存 · 分配释放最佳实践
内存优化
14
CUDA流与事件
Stream概念 · 默认/非默认流 · 同步 · 事件计时 · 多流并发
流并发
15
CUDA原子操作与同步
原子函数 · __syncthreads · Warp Shuffle · 协作组
原子同步
16
CUDA性能优化
内存合并 · Bank Conflict · Occupancy · 指令级并行 · 循环展开
优化性能
17
CUDA库使用
cuBLAS · cuFFT · cuSPARSE · cuSOLVER
库cuBLAS
18
cuDNN深度学习加速
卷积优化 · RNN/LSTM加速 · 融合算子 · cudnnFind
cuDNN加速
19
TensorRT部署实战
Python API · Engine序列化 · 动态形状 · 多流推理
TensorRT部署
20
NCCL分布式训练
AllReduce/AllGather · 环境变量调优 · 环形/树形拓扑 · 故障恢复
分布式NCCL
21
GPU虚拟化与MIG
MIG配置 · 分区策略 · Docker集成 · 性能隔离
MIG虚拟化
22
GPU集群管理
Slurm调度 · GPU作业提交 · 资源配额 · 故障检测与恢复
集群Slurm
23
GPU基准测试
MLPerf · CUDA Samples · 自定义Benchmark · 性能对比
基准测试
24
GPU调试工具
cuda-gdb · cuda-memcheck · Nsight Systems · Nsight Compute
调试Nsight
25
GPU安全与权限
进程隔离 · 内存保护 · CUDA沙箱 · 安全最佳实践
安全权限
26
GPU固件与BIOS
VBIOS更新 · PCIe Gen4/Gen5 · Resizable BAR · ECC内存
固件BIOS
27
GPU散热与功耗管理
nvidia-smi功耗控制 · 动态超频 · 风扇控制 · 温度降频
散热功耗
28
GPU故障排查
硬件诊断 · 驱动崩溃恢复 · CUDA错误码 · 日志分析
故障排查
29
GPU在AI大模型中的应用
LLM推理(vLLM/TensorRT-LLM) · 张量并行 · 流水线并行 · 量化部署
大模型LLM
30
GPU开发环境综合实战
从零搭建环境 · CI/CD流水线 · 迁移备份 · 常见FAQ
综合实战