01
功耗优化概述
为什么端侧大模型推理需要关注功耗？核心指标与挑战。
⚡ 功耗📊 指标
02
硬件基础
端侧芯片（CPU/GPU/NPU）的功耗特性与计算瓶颈分析。
🔧 芯片⚙️ 瓶颈
03
模型量化基础
从FP32到INT8，量化原理与精度损失分析。
🔢 INT8📉 精度
04
量化实战
使用PyTorch进行PTQ与量化感知训练（QAT）。
🔥 PyTorch🧪 QAT
05
模型剪枝
结构化剪枝与非结构化剪枝，减少计算量。
✂️ 剪枝📦 压缩
06
知识蒸馏
教师-学生模型架构，用小模型逼近大模型效果。
🧑🏫 蒸馏🤖 轻量
07
轻量化架构设计
MobileNet、ShuffleNet、EfficientNet-Lite等对比。
📱 MobileNet⚡ 高效
08
算子融合
Conv+BN+ReLU融合原理与实现，减少内存访问。
🧩 融合🚀 加速
09
内存优化
内存复用、张量生命周期管理、减少显存碎片。
🧠 内存💾 复用
10
计算图优化
常量折叠、死代码消除、算子重排。
📉 图优化⚡ 效率
11
推理引擎选择
TFLite、ONNX Runtime、NCNN、MNN、TensorRT对比。
⚙️ 引擎🔍 对比
12
异构计算调度
CPU+GPU+NPU协同工作，动态任务分配策略。
🔀 异构📡 调度
13
动态电压频率调整
根据负载动态调整芯片频率与电压 (DVFS)。
🔋 DVFS⚡ 调频
14
批处理与流式处理
单帧推理与批量推理的功耗权衡。
📦 批处理🌊 流式
15
稀疏计算
利用模型稀疏性跳过零值计算，减少无效功耗。
0️⃣ 稀疏🧮 跳过
16
缓存优化
数据局部性原理，利用缓存减少DRAM访问。
🗃️ 缓存📀 局部性
17
低精度推理
INT4、FP16、BF16混合精度推理实践。
🔢 INT4🧪 混合精度
18
模型部署工具链
从训练到部署的完整功耗优化流程。
🔧 工具链📦 部署
19
功耗测量工具
使用Perf、PowerTOP、板载传感器进行profiling。
📊 Perf🔋 PowerTOP
20
实时功耗监控
推理过程中动态调整策略，自适应功耗控制。
📈 监控🔄 自适应
21
模型分块与流水线
将大模型拆分为子模块，分时加载减少峰值功耗。
🧩 分块⛲ 流水线
22
注意力机制优化
Flash Attention、稀疏注意力、线性注意力。
👁️ 注意力⚡ Flash
23
KV Cache优化
LLM推理中复用Key-Value缓存，减少重复计算。
🗝️ KV💾 缓存
24
推测解码
使用小模型辅助大模型，减少大模型调用次数。
🔮 推测🤖 辅助
25
模型压缩综合案例
将BERT模型压缩到手机端可运行的完整流程。
📦 BERT📱 手机端
26
端侧部署实战
在Android/iOS设备上部署优化后的模型。
📱 Android🍎 iOS
27
功耗与性能的平衡艺术
延迟、精度、功耗三者间最优解。
⚖️ 平衡🎯 最优
28
前沿技术：神经架构搜索
NAS在低功耗模型设计中的应用。
🔬 NAS🧬 搜索
29
行业案例
智能语音助手、实时翻译、AR眼镜功耗优化实践。
🎤 语音🥽 AR
30
未来展望
存内计算、光子计算等新型低功耗推理硬件趋势。
🔮 未来💡 存内计算