📘 YOLOv9 · MCU 轻量化
🎯 30 章 · 从理论到部署
01
课程导论
边缘计算
YOLOv9在边缘计算中的机遇与挑战,MCU上部署AI的现状与前景。
02
YOLOv9网络架构精讲
Backbone/Neck/Head
Backbone、Neck、Head设计原理,与YOLOv8的对比分析。
03
轻量化设计哲学
剪枝·蒸馏·量化
模型剪枝、知识蒸馏、量化感知训练的核心思想。
04
MCU硬件平台选型
STM32/ESP32/瑞萨
STM32、ESP32、瑞萨RA系列对比,算力与内存的权衡。
05
开发环境搭建
IDE & ONNX Runtime
STM32CubeIDE、ESP-IDF、ONNX Runtime for MCU的配置。
06
模型导出与转换
PyTorch → ONNX → TFLM
PyTorch模型转ONNX,ONNX转TensorFlow Lite Micro。
07
量化技术实战
INT8 · PTQ · QAT
INT8量化原理,PTQ与QAT在YOLOv9上的应用。
08
通道剪枝实战
BN层权重
基于BN层权重的通道剪枝,剪枝率对mAP的影响。
09
知识蒸馏实战
温度·损失函数
教师模型选择,温度参数调优,蒸馏损失函数设计。
10
轻量化Backbone设计
Shuffle/Mobile/Efficient
ShuffleNet、MobileNetV3、EfficientNet-Lite在YOLOv9中的替换。
11
Neck结构优化
BiFPN · GSConv
BiFPN轻量化改造,GSConv与GhostConv的应用。
12
Head结构简化
解耦头 · Anchor-Free
解耦头压缩,Anchor-Free策略在MCU上的适配。
13
CSPNet与ELAN结构
梯度路径
梯度路径优化,计算量分析与内存占用评估。
14
激活函数选择
ReLU · SiLU · Hard-Swish
ReLU、LeakyReLU、SiLU、Hard-Swish在MCU上的性能对比。
15
归一化层融合
BN融合技巧
BN层与Conv层的融合技巧,减少推理时的计算开销。
16
模型参数量化分析
FLOPs · 内存
FLOPs、参数量、内存占用的精确计算方法。
17
MCU推理框架选型
TFLM · CMSIS-NN · NNoM
TensorFlow Lite Micro、CMSIS-NN、NNoM深度对比。
18
CMSIS-NN优化实战
DSP · 4bit
使用DSP指令加速卷积,4bit量化探索。
19
NNoM部署实战
内存池 · 推理接口
模型导入、内存池配置、推理接口封装。
20
TensorFlow Lite Micro部署
解释器 · 算子
模型转换、解释器配置、算子支持列表。
21
内存优化策略
张量复用 · 内存池
张量复用、内存池设计、静态内存分配技巧。
22
推理速度优化
算子融合 · 循环展开
算子融合、内存对齐、循环展开等底层优化。
23
数据集准备与标注
格式转换 · 增强
目标检测数据集格式转换,MCU场景数据增强。
24
模型训练技巧
学习率 · 损失函数
学习率调度、数据增强策略、损失函数调优。
25
模型评估与调试
mAP · 混淆矩阵
mAP计算、混淆矩阵分析、推理结果可视化。
26
实战项目一:口罩检测
STM32F4
基于STM32F4的口罩检测系统(从训练到部署全流程)。
27
实战项目二:手势识别
ESP32-S3 · WiFi
基于ESP32-S3的实时手势识别系统(WiFi传输结果)。
28
实战项目三:工业缺陷检测
瑞萨RA6M5
基于瑞萨RA6M5的工业缺陷检测(低功耗场景优化)。
29
性能调优与功耗优化
DVFS · 睡眠管理
动态电压频率调整(DVFS)、睡眠模式管理。
30
课程总结与展望
YOLOv9未来
YOLOv9未来演进方向,MCU AI的发展趋势。