端侧推理引擎 · 应用指南
📚 30章 从入门到实战
01
嵌入式AI概述
端侧推理概念 · 主流引擎：TFLite, ONNX, NCNN, MNN, TNN
02
开发环境搭建
交叉编译链 · CMake · ARM Linux/Android 环境
03
模型格式基础
ONNX结构 · Protobuf · Netron可视化
04
模型转换与优化
PyTorch/TF导出ONNX · FP16/INT8量化 · 剪枝蒸馏
05
NCNN框架入门
源码编译 · benchmark · 模型加载推理
06
NCNN算子实现
卷积 · ReLU/Sigmoid · 池化层实现
07
NCNN内存优化
内存池 · blob复用 · DMA分配策略
08
NCNN量化实战
校准集 · KL散度 · 精度验证
09
MNN框架入门
源码编译 · Session/Interpreter · 模型转换
10
MNN算子优化
Winograd · Strassen · ARM NEON汇编
11
MNN多线程调度
线程池 · 任务拆分 · NUMA感知
12
MNN GPU加速
Vulkan · OpenCL · GPU内存管理
13
TNN框架入门
源码编译 · 模型加密 · CPU/GPU异构
14
TNN模型部署
序列化 · 动态形状 · 多模型串联
15
TensorFlow Lite部署
TFLite转换 · Delegate · 量化感知训练
16
ONNX Runtime Mobile
ORT Mobile编译 · Execution Provider · Session配置
17
模型加密与安全
文件加密 · 运行时解密 · 反调试防篡改
18
性能 profiling 工具
perf · trace event · 算子耗时统计
19
内存泄漏检测
Valgrind · AddressSanitizer · 监控脚本
20
端侧推理精度调试
逐层对比 · 余弦相似度 · 误差定位
21
自定义算子开发
NCNN自定义层 · MNN插件 · ORT自定义算子
22
模型部署流水线
CI/CD · 自动化测试 · 模型版本管理
23
多模型协同推理
流水线设计 · 共享内存 · 异步推理
24
端侧模型更新
热更新 · 增量下载 · 版本回滚
25
低功耗推理策略
动态调频 · 任务调度 · 功耗性能平衡
26
端侧推理引擎选型
性能基准 · 内存对比 · 社区活跃度
27
实战：图像分类 (MobileNet)
ARM Linux 部署 MobileNet
28
实战：目标检测 (YOLOv5)
Android 部署 YOLOv5
29
实战：语音识别 (WeNet)
嵌入式设备部署 WeNet
30
未来趋势与挑战
Transformer端侧 · NPU/DSP · 联邦学习