🧠 嵌入式AI模型部署全流程实战
📘 30章 · 从入门到部署 · 友好色系
🎯 全流程
30节
⚡ 轻量化 · 量化 · 部署
01
AI模型部署概述
嵌入式AI
部署全景图
边缘计算 vs 云端
应用场景
02
硬件平台选型
STM32/树莓派/Jetson/K210
算力与功耗
外设接口
03
开发环境搭建
交叉编译工具链
SSH远程调试
串口终端
文件传输
04
Python在嵌入式AI中的角色
MicroPython vs CPython
固件烧录
REPL调试
GPIO控制
05
C/C++部署基础
嵌入式C要点
内存管理
指针与数组
volatile/位操作
06
模型训练基础
数据集准备/标注
PyTorch/TF快速入门
.pt/.h5
过拟合与欠拟合
07
模型轻量化技术 (上)
模型剪枝原理
结构化/非结构化剪枝
项目:缩小4倍
08
模型轻量化技术 (下)
知识蒸馏
量化感知训练
混合精度
MobileNet/ShuffleNet
09
模型量化 (上)
FP32 vs INT8
对称/非对称量化
校准数据集
量化误差
10
模型量化 (下)
TensorRT量化
ONNX Runtime量化
TFLite量化
硬件原生支持
11
模型转换与中间表示
ONNX格式详解
转换坑点(动态轴/算子)
Netron可视化
12
TensorRT部署 (上)
安装与配置
构建Engine
序列化/反序列化
动态shape
13
TensorRT部署 (下)
多流推理
DLA加速器
INT8校准实战
Profiling
14
TFLite Micro部署
TFLite Micro架构
算子解析/注册
内存分配器
MCU上跑通模型
15
OpenCV在嵌入式AI中的应用
图像预处理(缩放/归一化)
色彩空间转换
摄像头采集/显示
16
模型推理流水线设计
生产者-消费者
双缓冲机制
流水线并行
延迟与吞吐量
17
性能优化 (上)
算子融合
内存复用
计算图优化
层融合/张量融合
18
性能优化 (下)
NEON指令集
CMSIS-NN
DSP加速
循环展开/软件流水
19
模型部署调试
打印中间张量
数值比对工具
精度回退策略
常见错误
20
边缘端数据处理
传感器数据融合
滑动窗口
特征工程
异常检测预处理
21
通信协议集成
MQTT移植
HTTP/HTTPS
Protobuf序列化
OTA升级
22
电源管理
DVFS
睡眠模式
任务调度与功耗
电池续航估算
23
安全与加密
模型加密(AES/RSA)
安全启动
防逆向工程
TEE简介
24
多模型协同
模型级联
模型集成
流水线并行
异构计算(CPU+NPU)
25
RTOS集成 (FreeRTOS)
任务创建
消息队列
信号量
中断管理
26
端侧推理框架对比
TensorRT vs OpenVINO
NCNN vs MNN vs TFLite
选型建议
27
实战项目 (一) 人脸检测门禁
训练到部署全流程
门禁系统
28
实战项目 (二) 语音关键词唤醒
MCU小模型部署
唤醒词
29
实战项目 (三) 工业缺陷检测
边缘盒子方案
缺陷检测
30
课程总结与进阶方向
MLOps for Edge
联邦学习
存内计算/神经形态芯片