📘 嵌入式推理框架选型 30章 · 实战指南

🎯 风格 · 硬核目录
1

嵌入式AI概述 01

什么是嵌入式AI、为什么需要推理框架、主流框架概览与选型痛点。

2

Tengine框架详解 02

阿里巴巴开源轻量级推理引擎,支持异构计算,核心API与部署流程。

3

NCNN框架详解 03

腾讯开源移动端优化框架,ARM CPU深度优化,模型转换与量化。

4

MNN框架详解 04

阿里巴巴轻量级神经网络引擎,支持端侧训练与推理,性能对比。

5

TensorFlow Lite详解 05

Google官方移动端方案,支持硬件加速,模型优化工具链。

6

ONNX Runtime详解 06

微软开源跨平台推理引擎,支持多种后端,嵌入式设备适配。

7

Paddle Lite详解 07

百度飞桨端侧推理引擎,支持PaddlePaddle模型,轻量化部署。

8

Core ML与iOS部署 08

Apple官方框架,ANE加速,模型转换与集成。

9

OpenCV DNN模块 09

OpenCV自带深度学习模块,轻量级部署,适合传统视觉任务。

10

框架性能对比 10

CPU推理速度、内存占用、模型加载时间、多线程支持对比。

11

模型量化技术 11

FP32转FP16、INT8量化、量化感知训练,不同框架量化支持。

12

异构计算与硬件加速 12

NPU、DSP、GPU调用,不同框架硬件适配情况。

13

模型转换与格式统一 13

ONNX、TFLite、Caffe、PaddlePaddle等格式互转,踩坑记录。

14

算子支持与兼容性 14

各框架算子列表,自定义算子注册,算子缺失替代方案。

15

内存优化策略 15

内存池、共享内存、模型裁剪,资源受限设备实践。

16

多线程与流水线优化 16

线程池设计、异步推理、预处理与推理并行。

17

模型加密与安全 17

模型文件加密、运行时保护、防止模型被窃取。

18

动态输入与变长模型 18

动态batch、动态分辨率,不同框架实现差异。

19

多模型串联与复合任务 19

检测+跟踪、分类+分割等复合场景框架选型。

20

实时性要求与延迟优化 20

端到端延迟分析、帧率保证、低延迟推理技巧。

21

跨平台部署策略 21

Android、Linux、RTOS、MCU等不同平台框架适配。

22

模型部署全流程 22

训练→转换→量化→部署→测试,各环节框架选择。

23

调试与性能分析工具 23

Profiling工具、日志系统、可视化调试,各框架调试手段。

24

社区活跃度与生态 24

GitHub Star、Issue响应、文档质量、商业支持。

25

项目案例1:人脸检测门禁 25

从选型到部署的全过程,实战人脸检测门禁系统。

26

项目案例2:工业缺陷检测 26

ARM Linux设备上的工业缺陷检测部署实践。

27

项目案例3:语音唤醒词 27

MCU上的极致优化,语音唤醒词检测。

28

框架选型决策树 28

根据硬件、模型、延迟、功耗自动推荐框架。

29

未来趋势与新兴框架 29

TFLite Micro、TensorRT、OpenVINO、TVM等。

30

总结与最佳实践 30

选型清单、常见陷阱、学习资源推荐。