嵌入式推理精度与速度平衡术 · 课程目录

📚 30个实战章节 ⚡ 从量化到部署 友好色系 🎨

精度与速度的博弈：为什么嵌入式推理需要平衡？

量化基础：从FP32到INT8，精度损失从哪来？

量化感知训练：让模型学会适应低精度。

后训练量化：快速部署的捷径与陷阱。

混合精度推理：哪里该用FP16，哪里用INT8？

剪枝入门：结构化剪枝与非结构化剪枝。

剪枝实战：如何剪掉不重要的通道？

知识蒸馏：大模型教小模型，精度能保住吗？

蒸馏温度与损失函数：调参的艺术。

算子融合：减少访存，加速推理。

内存布局优化：NHWC vs NCHW，谁更快？

缓存友好设计：让数据靠近CPU。

SIMD指令集：ARM NEON与RISC-V Vector。

汇编级优化：手写算子到底值不值？

推理框架选型：TFLite、ONNX Runtime、NCNN。

模型转换与部署：从PyTorch到嵌入式设备。

Benchmark方法论：如何科学测量推理速度？

精度评估：除了Top-1，还要看什么？

硬件特性分析：NPU、DSP、CPU谁更适合？

功耗与性能：跑得快不等于好。

动态形状推理：处理变长输入的技巧。

多线程与流水线：榨干多核性能。

异步推理：不阻塞主任务的秘密。

模型加密与保护：速度与安全的权衡。

端侧训练：在设备上微调，精度能提升多少？

联邦学习与隐私：分布式场景下的精度损失。

AutoML for Edge：自动搜索最优模型。

案例1：人脸检测在Cortex-M上的优化。

案例2：语音唤醒词在DSP上的部署。

未来趋势：存内计算与稀疏推理。