01
IoT推理优化概述
为什么需要推理优化 · 算力与功耗约束 · 优化目标 · 课程路线图
概述路线图
02
模型量化基础
对称/非对称量化 · INT8/INT4 · 量化误差 · 校准数据集
量化INT8
03
量化感知训练 (QAT)
模拟量化 · 伪量化节点 · QAT流程 · 与PTQ对比
QAT训练
04
模型剪枝技术
结构化/非结构化剪枝 · 权重/神经元剪枝 · 稀疏度 · 微调
剪枝稀疏
05
知识蒸馏
教师-学生网络 · 软/硬标签 · 温度系数 · 蒸馏损失
蒸馏压缩
06
轻量化模型架构
MobileNet · ShuffleNet · EfficientNet-Lite · TinyML选型
架构轻量
07
算子融合与图优化
Conv+BN+ReLU融合 · 内核融合 · 计算图优化 · 常量折叠
融合图优化
08
内存管理与复用
内存池 · 张量复用 · 就地操作 · 碎片避免
内存复用
09
模型部署格式
TFLite · ONNX · NCNN · MNN · TensorRT 对比与转换
部署格式
10
推理引擎选择
TFLite Micro · ONNX Runtime · Tengine · Paddle Lite · μTVM
引擎推理
11
硬件加速器利用
NPU · DSP · GPU · TPU · 异构计算调度
加速器异构
12
CPU指令集优化
ARM NEON · SIMD · 汇编级优化 · 缓存友好
NEON指令集
13
模型压缩综合案例
ResNet-50压缩到1MB以下 · 全流程实践
案例压缩
14
端侧推理性能分析
Profiling工具 · 瓶颈定位 · 性能调优方法论
性能Profiling
15
功耗优化策略
DVFS · 睡眠管理 · 计算与通信重叠
功耗DVFS
16
流水线并行与批处理
多模型流水线 · 动态批处理 · 延迟/吞吐量权衡
流水线批处理
17
模型加密与安全
加密存储 · TEE · 对抗防御 · 模型水印
安全加密
18
OTA更新与模型热加载
增量更新 · 版本管理 · 热切换 · 回滚策略
OTA热加载
19
多模态模型优化
视觉+语音+传感器融合 · 特征对齐与压缩
多模态融合
20
Transformer在IoT上的优化
MobileBERT · TinyBERT · 注意力加速 · KV缓存优化
Transformer轻量
21
时序模型优化
LSTM/GRU量化剪枝 · TCN轻量化 · Mamba适配
时序LSTM
22
联邦学习与端侧推理
模型聚合 · 差分隐私 · 通信压缩 · 客户端选择
联邦学习隐私
23
AutoML在IoT中的应用
神经架构搜索 · 自动量化 · 硬件感知搜索
AutoMLNAS
24
RTOS下的推理
FreeRTOS · Zephyr部署 · 任务优先级与调度
RTOS实时
25
边缘-云协同推理
模型分片 · 计算卸载 · 自适应推理 · 带宽优化
协同边缘
26
模型验证与测试
精度验证 · 鲁棒性测试 · 回归测试 · CI流水线
测试CI
27
行业案例1：智能语音KWS
唤醒词检测优化实践
语音KWS
28
行业案例2：人体姿态估计
可穿戴设备部署优化
姿态估计可穿戴
29
行业案例3：工业异常检测
MCU实时推理
异常检测MCU
30
未来趋势与挑战
存内计算 · 神经形态芯片 · MaaS · 绿色AI
趋势前沿