⚡ 边缘推理能耗优化
实战
30章
从芯片到算法 · 打造节能边缘AI
🔋 友好 · 活力配色
01
边缘计算概述
定义·区别·场景
边缘计算的定义、与云计算的区别、边缘AI的应用场景。
→
02
推理能耗模型
组成·测量·建模
能耗的组成（计算、内存、通信）、能耗测量方法、能耗建模基础。
→
03
硬件平台选型
Jetson·树莓派·TPU
常见边缘设备（Jetson、树莓派、TPU、NPU）、算力与功耗的权衡。
→
04
模型轻量化技术
剪枝·量化·蒸馏
模型剪枝（结构化/非结构化）、权重量化（INT8/FP16）、知识蒸馏。
→
05
推理框架对比
TFLite·ONNX·OpenVINO
TensorFlow Lite、ONNX Runtime、OpenVINO、TensorRT 的能耗特性。
→
06
算子优化策略
融合·复用·图优化
算子融合、内存复用、计算图优化。
→
07
动态电压频率调整
DVFS·调参策略
DVFS 原理、在推理任务中的应用、调参策略。
→
08
批处理与流水线
Batch·异步流水线
Batch Size 对能耗的影响、异步推理流水线设计。
→
09
数据预处理优化
加载·NEON·缓存
数据加载的能耗、预处理加速（NEON/GPU）、缓存策略。
→
10
模型部署与量化
PTQ·QAT·校准
PTQ 与 QAT 的能耗对比、校准数据集的选择。
→
11
内存管理优化
内存池·对齐·拷贝
内存池、内存对齐、减少内存拷贝。
→
12
多线程与异构计算
CPU/GPU/NPU协同
CPU/GPU/NPU 协同、任务调度策略。
→
13
功耗监控工具
NVIDIA SMI·perf
NVIDIA SMI、perf、powertop、自定义监控脚本。
→
14
自适应推理
电池·动态精度
根据电池电量/负载动态调整模型精度。
→
15
模型分割与边缘-云协同
部分推理在边缘
部分推理在边缘、部分在云端。
→
16
编译器优化
TVM·XLA·MLIR
TVM、XLA、MLIR 在能耗优化中的作用。
→
17
稀疏计算
稀疏矩阵·硬件支持
稀疏矩阵乘法、硬件对稀疏的支持。
→
18
Winograd 算法
卷积加速·节能
在卷积中的加速与节能效果。
→
19
低精度训练与推理
FP16/BF16/INT4
FP16/BF16/INT4 的实践。
→
20
模型结构搜索
NAS·能耗约束
NAS 在能耗约束下的应用。
→
21
缓存友好设计
数据局部性·Blocking
数据局部性、Cache Blocking 技术。
→
22
网络通信优化
压缩·梯度·频率
模型压缩传输、梯度压缩、通信频率降低。
→
23
实时操作系统
RTOS调度优势
RTOS 在边缘推理中的调度优势。
→
24
电池感知调度
剩余电量调度
基于剩余电量的推理任务调度。
→
25
联邦学习与能耗
客户端训练优化
客户端训练能耗优化。
→
26
硬件加速器编程
Vitis AI·TensorRT
Vitis AI、TensorRT 编程实践。
→
27
案例：智能摄像头
人脸检测能耗优化
智能摄像头的人脸检测能耗优化。
→
28
案例：语音唤醒词
端侧部署优化
语音唤醒词的端侧部署优化。
→
29
案例：工业异常检测
模型压缩与部署
工业异常检测的模型压缩与部署。
→
30
综合项目
能耗自适应推理系统
构建一个能耗自适应的边缘推理系统。
→