模型部署 · 功耗优化与平衡 | 课程目录

功耗优化导论 🔥

为什么模型部署要关注功耗？核心目标与挑战。

硬件功耗基础 🔋

CMOS电路功耗来源：动态、静态、短路功耗。

计算与存储能耗模型 🧠

MAC运算能耗、数据搬运能耗（内存墙）。

模型量化基础 📉

FP32→INT8转换原理、对称与非对称量化。

量化感知训练 QAT 🧪

模拟量化、伪量化节点、训练后微调。

训练后量化 PTQ ⚙️

校准数据集、KL散度与MinMax方法。

混合精度量化 🎯

不同层不同位宽、敏感度分析、硬件支持。

模型剪枝 ✂️

结构化与非结构化剪枝、细粒度与粗粒度。

剪枝策略 📊

基于权重大小、梯度、L1/L2范数。

知识蒸馏 🧪

教师-学生架构、软标签与温度系数。

蒸馏与量化结合 🔁

量化感知蒸馏、联合训练策略。

轻量化网络设计 🕸️

深度可分离卷积、分组卷积、ShuffleNet。

算子融合 🧩

Conv+BN融合、Conv+ReLU、层融合策略。

内存优化 💾

内存复用、张量生命周期、In-Place操作。

计算图优化 ⚡

常量折叠、死代码消除、算子重排。

推理引擎后端优化 🚀

TensorRT、ONNX Runtime、TFLite功耗特性。

动态形状与静态形状 📐

动态shape对功耗影响、静态化方法。

批处理策略 📦

动态批处理、最优batch size、吞吐延迟权衡。

异步推理与流水线 ⏳

CPU-GPU异步、多流并行、任务调度。

电源管理技术 🔌

DVFS、时钟门控、电源门控。

异构计算调度 🧩

CPU+GPU+NPU协同、任务映射与负载均衡。

边缘设备部署 📡

TinyML、微控制器推理、内存与算力约束。

功耗测量与Profiling 📏

硬件功耗计、软件功耗模型、RAPL接口。

功耗与精度帕累托前沿 🎯

多目标优化、NSGA-II算法应用。

自动化功耗优化工具 🤖

AutoML for Power、贝叶斯搜索。

案例研究1: ResNet-50 🖼️

图像分类模型端到端功耗优化。

案例研究2: YOLOv5 👁️

目标检测在边缘设备部署优化。

案例研究3: BERT 🧾

NLP模型推理功耗优化。

未来趋势 🔮

存内计算、光子计算、模拟AI芯片。

课程总结与最佳实践 ✅

功耗优化工作流、常见陷阱与建议。