📘 微小机器学习调优手册
30章 · 从选型到实战
🌟 友好色系
01
模型选型
TinyML 兴起 · MobileNet / TinyBERT / ESP32-S3
➜
02
数据准备
采集·清洗·增强 (裁剪/翻转/加噪)
➜
03
数据标注
LabelImg / CVAT · 质量检查 · 不平衡处理
➜
04
数据划分
训练/验证/测试 · K折交叉验证 · 时间序列陷阱
➜
05
环境搭建
TFLite Micro · Edge Impulse · Arduino/ESP32
➜
06
模型构建
全连接 · Keras卷积 · 参数量/计算量估算
➜
07
模型量化
PTQ / QAT · 为什么量化对微小模型重要
➜
08
模型剪枝
权重/神经元剪枝 · 结构化vs非结构化 · 微调
➜
09
知识蒸馏
教师-学生 · 蒸馏温度 · 微小模型实战
➜
10
训练策略
余弦退火 · 阶梯下降 · 批量大小 · 梯度累积
➜
11
损失函数
交叉熵 · MSE · Focal Loss · 自定义损失
➜
12
优化器选择
SGD / Adam / AdamW · 学习率预热
➜
13
正则化
L1/L2 · Dropout · Spatial Dropout · 早停法
➜
14
训练监控
TensorBoard · 日志 · 断点续训
➜
15
模型评估
准确率/精确率/召回率/F1 · 混淆矩阵 · ROC/AUC
➜
16
过拟合与欠拟合
诊断 · 数据增强/正则化/简化模型 · 实战
➜
17
超参数调优
网格/随机/贝叶斯搜索 · Optuna · 资源受限策略
➜
18
模型转换
TF→TFLite · ONNX · Core ML · 格式对比
➜
19
模型部署
Arduino Nano · ESP32 · Raspberry Pi Pico
➜
20
推理优化
算子融合 · 内存复用 · 缓存 · 功耗权衡
➜
21
边缘推理框架
TFLite Micro · ONNX Runtime · CMSIS-NN
➜
22
模型压缩
权重共享 · 霍夫曼编码 · 低秩分解
➜
23
硬件适配
MCU算力/内存 · NPU/TPU · DSP指令优化
➜
24
持续学习
增量学习 · 灾难性遗忘 · EWC弹性权重巩固
➜
25
联邦学习
基础概念 · 边缘联邦训练 · 通信效率优化
➜
26
模型安全
对抗攻击/防御 · 模型窃取防护 · 差分隐私
➜
27
调试与诊断
梯度消失/爆炸 · 激活值分布 · Netron可视化
➜
28
性能基准测试
推理速度/内存/功耗 · MLPerf Tiny
➜
29
版本管理
DVC · MLflow · Weights & Biases
➜
30
实战项目
关键词唤醒 · 手势识别 · 异常检测
➜
✨ 点击卡片跳转对应章节 · 30章完整目录