📘 嵌入式深度学习推理框架解析
📚
30 章节
⚡
从入门到实战
🧩
友好色系
🎯 目录 · 点击跳转
01
嵌入式AI概述
定义·发展·应用场景·与传统AI区别
02
推理框架概览
TFLite·ONNX·NCNN·MNN·Tengine对比
03
模型量化基础
FP32→INT8·对称/非对称·QAT·PTQ
04
模型压缩技术
剪枝·知识蒸馏·低秩分解·嵌入式实践
05
算子优化策略
算子融合·内存布局·Winograd算法
06
内存管理
内存池·张量复用·DMA·Cache一致性
07
异构计算
CPU+GPU+NPU·任务调度·OpenCL/Vulkan
08
模型部署流程
训练→导出→量化→转换→部署
09
TensorFlow Lite详解
架构·Delegate·GPU·XNNPACK
10
NCNN详解
ncnn::Net·层注册·汇编优化·Vulkan
11
MNN详解
架构·会话管理·算子·多后端
12
Tengine详解
图优化·量化工具·OPL设计
13
ONNX Runtime详解
ONNX标准·Execution Provider·转换调试
14
模型解析与图优化
计算图IR·图优化Pass·子图分割
15
算子注册与调度
注册表·动态调度·形状推断
16
性能Profiling
perf·gprof·Android Studio·瓶颈分析
17
端侧推理精度分析
精度损失·逐层对比·混合精度推理
18
多线程与并发
线程池·任务并行·数据并行·流水线
19
模型加密与保护
AES加密·混淆·安全加载
20
自定义算子开发
编写·注册·性能调优
21
模型转换与兼容性
PyTorch→ONNX→TFLite·兼容问题
22
实时性优化
延迟/吞吐量·帧率控制·低延迟技巧
23
功耗优化
DVFS·频率调节·模型轻量化
24
边缘端部署实战(一)
树莓派人脸检测·NCNN
25
边缘端部署实战(二)
Jetson Nano目标检测·TensorRT
26
边缘端部署实战(三)
手机端图像分类·MNN
27
端侧大模型推理
LLM挑战·量化稀疏·KV Cache优化
28
框架源码分析(一)
NCNN源码·层实现·内存管理
29
框架源码分析(二)
MNN源码·会话调度·算子执行
30
未来趋势
RISC-V·存算一体·MaaS边缘演进