🧩 低功耗推理引擎 · 实战
📘 30章 从理论到部署
📅 2025 架构设计
⚡ 边缘AI · 量化 · 剪枝 · 加速器
30个实战章节
01
低功耗推理引擎概述
为什么需要低功耗推理？AI从云端走向边缘的必然趋势，功耗墙与性能墙的博弈。
02
硬件基础与功耗模型
CMOS功耗来源（动态、静态、短路），P=αCV²f，工艺节点影响。
03
量化技术基础
FP32→INT8，线性/非线性量化，误差分析，对称与非对称量化。
04
训练后量化（PTQ）
校准数据集，KL散度 & MinMax，per-tensor vs per-channel，实战踩坑。
05
量化感知训练（QAT）
模拟量化前向，直通估计器STE，伪量化节点，QAT与PTQ取舍。
06
混合精度量化
敏感层分析，INT8/INT4/FP16混合策略，硬件支持。
07
模型剪枝基础
结构化/非结构化剪枝，细粒度与粗粒度，对硬件加速影响。
08
剪枝策略与调度
幅度剪枝，L1/L2范数，彩票假说，迭代剪枝与一次性剪枝。
09
知识蒸馏
软/硬标签，温度系数T，学生/教师网络，KL散度+CE损失。
10
轻量化模型设计
深度可分离卷积(MobileNet)，分组卷积/Shuffle(ShuffleNet)，SE模块。
11
神经网络架构搜索(NAS)
搜索空间，强化学习/进化/梯度下降，代理任务与效率评估。
12
稀疏计算与硬件加速
CSR/CSC存储，稀疏卷积实现，NVIDIA Ampere稀疏张量核心。
13
内存层次与数据复用
SRAM/DRAM功耗差异，输入/权重/输出复用，Row Stationary数据流。
14
脉动阵列(Systolic Array)
工作原理，权重/输入/输出固定数据流，Google TPU案例分析。
15
近存计算与存内计算
冯·诺依曼瓶颈，Near-Memory / In-Memory Computing，RRAM/SRAM方案。
16
专用加速器设计
NPU vs DSP，MAC阵列/累加器/激活单元，控制逻辑与数据通路。
17
编译优化与算子融合
计算图优化，Conv+BN+ReLU融合，常量折叠，死代码消除。
18
内存分配与调度优化
静态内存规划，in-place复用，张量生命周期，内存池设计。
19
多核异构调度
CPU+GPU+NPU异构，任务划分与负载均衡，DVFS功耗感知调度。
20
动态电压频率调整(DVFS)
DVFS原理，性能/功耗权衡，实时策略，硬件支持。
21
时钟门控与电源门控
Clock Gating实现，Power Gating与保持寄存器，细粒度/粗粒度门控。
22
异步设计与近阈值计算
异步电路基础，Near-Threshold Computing，电压缩放对延迟/功耗影响。
23
模型部署与推理框架
TensorRT, ONNX Runtime, TFLite, OpenVINO对比及低功耗特性。
24
端侧推理引擎
NCNN, MNN, TNN架构，端侧内存优化，NPU适配。
25
功耗分析与Profiling工具
NVIDIA Nsight Systems, Tegra Profiler, 功耗仿真与热点分析。
26
基准测试与评估指标
TOPS/W, FPS/W, 能效比，延迟/吞吐量权衡，实际功耗测量。
27
案例：MobileNet手机端部署
从量化到剪枝再到编译优化的全流程。
28
案例：YOLOv5边缘实时推理
INT8量化 + TensorRT部署 + 功耗优化。
29
前沿趋势
稀疏注意力与Transformer加速，FP8/FP4低精度训练，自适应精度推理。
30
课程总结与未来展望
低功耗推理挑战与机遇，AI芯片演进方向，从业者建议。