大模型推理功耗优化实战
📚 30章 · 从入门到精通
⚡省电指南
01
功耗优化总览
大模型推理为什么耗电？核心指标（能耗比、峰值功耗、平均功耗）及学习路径图。
02
硬件基础认知
GPU (A100/H100) 与 NPU 功耗特性对比，TDP vs TGP，读取硬件功耗表。
03
模型量化入门 (INT8)
为什么量化能省电？FP16→INT8 转换原理，实际部署精度损失评估。
04
量化进阶 (INT4/混合精度)
INT4 功耗红利与挑战，混合精度策略，项目踩坑实录。
05
KV Cache 优化
KV Cache 为何是内存/功耗大户？PagedAttention & vLLM 优化方案。
06
稀疏计算与剪枝
结构化/非结构化剪枝，稀疏矩阵降低功耗，实际效果测试。
07
动态批处理
为什么批处理省电？动态批处理原理，吞吐量与功耗权衡。
08
连续批处理
与静态批处理区别，Orca/vLLM 实现，功耗实测数据。
09
Flash Attention 原理
标准 Attention 瓶颈，Flash Attention 减少 HBM 访问及功耗节省。
10
Flash Attention 实战
HuggingFace 集成 Flash Attention，代码示例与性能对比。
11
Speculative Decoding
投机解码原理，降低延迟与功耗，小模型辅助大模型策略。
12
模型并行策略 (TP/PP)
张量并行与流水线并行的功耗影响，通信与计算平衡。
13
专家混合模型 (MoE) 优化
MoE 稀疏激活特性，降低推理功耗，负载均衡问题。
14
CPU Offloading 技术
何时 CPU Offloading？Zero-Inference 实现，功耗与延迟取舍。
15
内存带宽优化
HBM 带宽利用率，内存合并访问，算子融合减少访问。
16
算子融合 (Kernel Fusion)
为什么融合省电？QKV/FFN 融合，Triton 实现示例。
17
CUDA Graph 优化
CUDA Graph 原理，减少 Kernel Launch 开销，功耗实测。
18
电源管理策略
DVFS、GPU Power Capping，找到功耗最优时钟频率。
19
推理框架对比
vLLM vs TGI vs TensorRT-LLM 功耗优化特性与实测对比。
20
TensorRT-LLM 深度优化
INT4 AWQ 量化、Inflight Batching、多节点功耗控制。
21
vLLM 深度优化
PagedAttention 调优、块大小选择、调度策略对功耗影响。
22
服务化部署功耗管理
请求排队、负载均衡、自动扩缩容对功耗的影响。
23
功耗监控与 profiling 工具
NVIDIA DCGM, nvprof, Nsight Systems 定位功耗热点。
24
数据中心级功耗优化
PUE、液冷散热、绿色数据中心最佳实践。
25
边缘端推理功耗优化
模型压缩 (蒸馏/剪枝)、TFLite/ONNX Runtime、树莓派实测。
26
移动端推理功耗优化
CoreML, NNAPI, Qualcomm SNPE 功耗特性与电池续航测试。
27
功耗与延迟的权衡艺术
Pareto 前沿分析，业务场景最优配置与决策框架。
28
端到端案例实战 (一)
基于 LLaMA-3-8B 搭建低功耗推理服务，量化到部署全流程。
29
端到端案例实战 (二)
Mixtral 8x7B MoE 功耗优化，多 GPU 配置最佳实践。
30
课程总结与未来展望
功耗优化未来趋势 (存内计算、光子计算)，持续学习资源推荐。