📘 嵌入式平台模型移植技术通解
🎯 30章 · 从入门到项目实战
📚 全30讲 v2.0
01 嵌入式AI概述
嵌入式AI的定义、发展历程、与传统AI的区别、典型应用场景(智能家居、工业视觉、自动驾驶)。
02 模型移植全流程
模型训练→模型转换→量化压缩→部署推理的完整链路,各环节关键挑战。
03 硬件平台认知
主流嵌入式AI芯片(NVIDIA Jetson、Rockchip RK3588、算能BM1684、地平线征程系列)架构对比与选型。
04 模型训练基础
轻量化模型设计原则(MobileNet、ShuffleNet、EfficientNet-Lite),训练时如何为部署做准备。
05 ONNX模型转换
PyTorch/TensorFlow模型导出为ONNX格式,算子兼容性排查,动态轴与静态轴处理。
06 TensorRT加速
TensorRT的安装与配置,模型解析与Engine构建,FP16/INT8量化,动态batch处理。
07 RKNN工具链
Rockchip NPU的RKNN模型转换流程,量化校准数据集准备,性能调优技巧。
08 地平线工具链
地平线征程系列模型转换(OE包与hb_perf工具),模型精度与速度的平衡策略。
09 算能TPU部署
算能BM1684/BM1684X的模型转换(BMNet→BModel),多核调度与流水线优化。
10 模型量化基础
FP32→FP16→INT8→INT4的量化原理,对称量化与非对称量化,量化误差来源。
11 训练后量化(PTQ)
PTQ的流程与工具(TensorRT PTQ、RKNN PTQ),校准数据集的选择策略。
12 量化感知训练(QAT)
QAT的原理与实现(PyTorch的torch.quantization),模拟量化与伪量化节点。
13 模型剪枝技术
结构化剪枝与非结构化剪枝,通道剪枝实现(基于L1范数),剪枝后的微调策略。
14 知识蒸馏
教师-学生模型架构,软标签与硬标签,温度系数调节,蒸馏在嵌入式场景的实践。
15 算子融合与图优化
Conv+BN+ReLU融合,常量折叠,死节点消除,TensorRT/ONNX Runtime的图优化机制。
16 内存优化策略
内存池管理,张量复用,就地操作(in-place),减少显存碎片的技巧。
17 多线程与流水线
生产者-消费者模型,异步推理与预处理并行,CPU-GPU/NPU协同工作。
18 模型加密与保护
模型加密方案(AES/RSA),硬件安全模块(HSM)集成,防止模型窃取。
19 性能Profiling工具
TensorRT Profiler、RKNN Toolkit Profiling、perf工具的使用,瓶颈定位方法。
20 精度调试方法
逐层输出对比(余弦相似度、欧氏距离),量化敏感层分析,混合精度部署。
21 C++部署实战
ONNX Runtime C++ API调用,TensorRT C++ API封装,内存管理与异常处理。
22 Python部署实战
Python推理脚本编写,Flask/FastAPI封装推理服务,WebSocket实时推流。
23 摄像头接入与预处理
V4L2摄像头采集,OpenCV图像预处理(Resize、Normalize、Color Convert),零拷贝优化。
24 ARM CPU部署
ARM Compute Library(ACL)与NCNN框架,NEON指令集加速,CPU推理优化。
25 MCU部署
TinyML与TensorFlow Lite Micro,CMSIS-NN优化,资源受限场景的模型设计。
26 多模型串联与pipeline
目标检测+跟踪+识别的多模型串联,共享内存与事件同步机制。
27 模型热更新与OTA
远程模型升级方案,差分更新减少带宽,版本管理与回滚机制。
28 边缘-云端协同
端侧推理+云端训练,边缘节点管理,联邦学习在嵌入式场景的探索。
29 项目实战(一) 智能门禁
基于RK3588的智能门禁系统(人脸检测+识别),从模型训练到部署的全流程。
30 项目实战(二) 工业缺陷检测
基于Jetson Orin的工业缺陷检测,TensorRT加速与多路视频流处理。