1. 课程导论与嵌入式AI概述

大家好，我是你们这门课的主讲。在嵌入式AI这个领域摸爬滚打了十来年，踩过的坑比走过的路还多。今天咱们开篇，先聊聊最基础的问题——嵌入式AI到底是什么？为什么我们需要费劲去压缩模型？

什么是嵌入式AI

说白了，嵌入式AI就是把深度学习模型塞进资源受限的设备里。比如你手里的智能音箱、扫地机器人、还有工厂里的工业相机。这些设备不像云端服务器那样有海量内存和强大算力，它们往往只有几百KB的内存，主频可能才几百MHz。

我刚开始做这个方向时，总觉得把模型跑在嵌入式设备上很简单。直到第一次把训练好的ResNet-50直接部署到ARM Cortex-M4上，结果程序直接崩溃——内存不够。嗯，那次教训挺深刻的。

嵌入式AI的核心挑战在于：

• 算力受限：没有GPU，只有CPU或者轻量级NPU
• 内存紧张：可能只有几百KB到几MB的RAM
• 功耗敏感：电池供电的设备，每毫瓦都要精打细算
• 实时性要求：比如自动驾驶的障碍物检测，延迟超过100ms就可能出事故

为什么需要模型压缩

你想想看，一个标准的MobileNetV2模型，参数量大约3.5M，模型文件大小约14MB。这在手机上跑没问题，但放到一个只有512KB Flash的MCU上呢？根本塞不下。

我在一个工业缺陷检测项目里遇到过这种情况。客户要求用STM32F4系列芯片做实时检测，模型必须控制在1MB以内。原始模型有12MB，压缩了整整12倍才跑起来。那段时间我天天跟量化、剪枝打交道。

模型压缩的必要性体现在三个方面：

说白了，没有模型压缩，嵌入式AI就是空中楼阁。你训练出再好的模型，部署不到设备上也是白搭。

课程目标与学习路径

这门课的目标很明确：让你从零到一，掌握嵌入式AI模型压缩与部署的完整流程。学完之后，你能独立完成以下工作：

1. 模型选型：根据硬件资源选择合适的轻量级模型
2. 模型压缩：使用量化、剪枝、蒸馏等技术压缩模型
3. 模型转换：将PyTorch/TensorFlow模型转换为嵌入式格式
4. 部署优化：在目标硬件上做推理加速和内存优化

我个人建议的学习路径是这样的：

• 前5章：打好基础，理解嵌入式AI的底层原理
• 第6-15章：掌握核心压缩技术，每个技术我都会带实际案例
• 第16-25章：学习部署工具链，包括TensorRT、ONNX Runtime、TFLite Micro
• 最后5章：综合实战，从模型训练到部署全流程走一遍

开发环境与工具链概览

工欲善其事，必先利其器。咱们这门课会用到的工具链，我列了个清单：

环境搭建这块，我建议你直接用Docker镜像。我在项目中吃过太多环境依赖的亏——Python版本不对、CUDA版本冲突、某个库死活装不上。用Docker可以一键搞定，省心省力。

最后说一句，嵌入式AI这个领域，理论和实践缺一不可。理论让你知道为什么这么做，实践让你知道怎么做才不翻车。咱们这门课，我会尽量把两者结合起来，让你学得明白、用得顺手。

好，第一章就到这里。下一章咱们聊聊模型量化的基本原理，这是压缩技术里最常用、效果也最明显的一种方法。