第01章
AI芯片概述
定义、发展历程、分类 (GPU/FPGA/ASIC/类脑) 及典型产品
芯片分类
第02章
基准测试基础
定义、目的、分类 (微基准/应用基准) 及行业标准 (MLPerf、SPEC)
基准MLPerf
第03章
性能指标详解
吞吐量、延迟、功耗、能效比、精度 (FP32/FP16/INT8) 计算与权衡
指标精度
第04章
MLPerf推理基准
MLPerf Inference 测试场景 (Offline/Server/SingleStream)、模型与数据集
推理MLPerf
第05章
MLPerf训练基准
训练任务 (图像分类/目标检测/翻译)、收敛标准与提交规则
训练收敛
第06章
硬件监控工具
nvidia-smi、rocm-smi、perf、vtune、pytorch profiler 安装与使用
监控工具
第07章
性能Profiling实战
使用Nsight Systems对PyTorch模型进行端到端性能分析
ProfilingNsight
第08章
计算瓶颈分析
FLOPs利用率、内存带宽瓶颈、计算与访存比 (Roofline模型)
瓶颈Roofline
第09章
Roofline模型实战
绘制Roofline图，定位模型在芯片上的瓶颈区域
Roofline可视化
第10章
算子优化基础
算子融合、循环展开、向量化、内存对齐的基本原理
算子优化
第11章
矩阵乘法优化
GEMM优化策略：分块、重排、SIMD、寄存器缓存
GEMMSIMD
第12章
卷积算子优化
im2col、Winograd、FFT卷积的原理与适用场景
卷积Winograd
第13章
内存优化策略
数据复用、tiling、预取、共享内存使用 (以CUDA为例)
内存CUDA
第14章
编译器优化
TVM、XLA、Triton的编译流程与自动调优机制
编译器TVM
第15章
自动调优框架
Ansor、AutoTVM、AutoSchedule的原理与实战
自动调优Ansor
第16章
量化技术
训练后量化 (PTQ)、量化感知训练 (QAT)、混合精度训练原理
量化QAT
第17章
稀疏化技术
结构化/非结构化稀疏、剪枝策略、稀疏矩阵计算优化
稀疏剪枝
第18章
模型并行策略
数据并行、模型并行、流水线并行、张量并行的原理与选择
并行分布式
第19章
分布式训练优化
AllReduce算法 (Ring/Tree)、梯度压缩、异步SGD
AllReduce梯度压缩
第20章
推理引擎优化
TensorRT、OpenVINO、ONNX Runtime的部署与调优
推理引擎TensorRT
第21章
算子库调优
cuDNN、cuBLAS、MIOpen、oneDNN的选择与参数调优
算子库cuDNN
第22章
批处理优化
动态批处理、连续批处理、最优batch size的搜索方法
批处理batch
第23章
I/O与数据加载优化
DataLoader多进程、内存映射、数据预处理流水线
I/ODataLoader
第24章
功耗与散热管理
功耗测量方法、DVFS调优、TDP限制下的性能最大化
功耗DVFS
第25章
多芯片互联
NVLink、PCIe、CCIX、CXL的带宽与延迟对性能的影响
互联NVLink
第26章
特定场景调优：NLP
Transformer模型在AI芯片上的优化案例
NLPTransformer
第27章
特定场景调优：CV
ResNet/YOLO在AI芯片上的优化案例
CVResNet
第28章
特定场景调优：推荐系统
DLRM模型在AI芯片上的优化案例
推荐DLRM
第29章
性能调优方法论
AMDAHL定律、性能瓶颈定位流程、迭代优化方法论
方法论Amdahl
第30章
综合实战项目
从基准测试到性能调优完整流程 (ResNet-50在GPU上为例)
实战ResNet-50