第1章
课程导论与行业背景
大模型(LLM)与嵌入式系统融合的趋势、应用场景(智能家居、工业边缘、可穿戴设备)、课程目标与学习路径。
趋势应用场景学习路径
第2章
嵌入式系统基础回顾
MCU与MPU的区别、常见嵌入式架构(ARM Cortex-M/A、RISC-V)、RTOS与裸机开发的选择。
MCU/MPUARM/RISC-VRTOS
第3章
大模型基础原理
Transformer架构精讲、自注意力机制、预训练与微调、模型量化与蒸馏入门。
Transformer注意力量化
第4章
模型轻量化技术(上)
模型剪枝(结构化/非结构化)、权重量化(INT8/INT4)、知识蒸馏的原理与实战。
剪枝INT8蒸馏
第5章
模型轻量化技术(下)
模型蒸馏实战(使用Hugging Face Trainer)、TensorFlow Lite与ONNX Runtime的量化工具链。
HF TrainerTFLiteONNX
第6章
嵌入式AI芯片与硬件加速
NPU、TPU、GPU在边缘端的应用(如STM32N6、瑞萨DRP-AI、树莓派RP2040的局限性)、硬件加速器选型指南。
NPU硬件加速选型
第7章
TinyML框架与工具链
TensorFlow Lite Micro、Edge Impulse、STM32Cube.AI、ONNX Runtime Embedded的安装与配置。
TFLMEdge ImpulseSTM32Cube.AI
第8章
模型转换与部署流程
从PyTorch/TF模型到TFLite/ONNX的转换、模型优化(算子融合、内存对齐)、部署到目标板。
模型转换算子融合部署
第9章
嵌入式Linux上的大模型部署
使用NCNN、MNN、TNN等推理引擎在ARM Linux(如树莓派、Jetson Nano)上部署LLM。
NCNNMNNJetson
第10章
资源受限设备上的LLM推理
Flash Attention优化、KV Cache管理、内存映射文件、分页推理技术。
Flash AttentionKV Cache分页推理
第11章
语音唤醒与命令词识别
使用Edge Impulse训练关键词识别模型、部署到Cortex-M4/M7、低功耗唤醒方案。
语音唤醒Edge Impulse低功耗
第12章
视觉大模型在边缘的应用
MobileNet、EfficientNet-Lite、YOLO-NAS的嵌入式部署、摄像头驱动与帧处理。
MobileNetYOLO-NAS摄像头
第13章
多模态融合
将语音、视觉、传感器数据融合到一个小型Transformer模型中、数据对齐与同步问题。
多模态Transformer数据同步
第14章
端侧RAG(检索增强生成)
在嵌入式设备上构建轻量级向量数据库(如FAISS的嵌入式版本)、本地知识库检索。
RAGFAISS知识库
第15章
嵌入式Agent与工具调用
让嵌入式设备上的LLM调用本地传感器API、控制GPIO、读取I2C数据。
AgentGPIOI2C
第16章
通信协议与云端协同
MQTT、HTTP/2、gRPC在嵌入式LLM中的应用、边缘-云端推理任务分割策略。
MQTTgRPC边云协同
第17章
安全与隐私
联邦学习在嵌入式设备上的实现、模型加密(TEE/OP-TEE)、对抗样本防御。
联邦学习TEE对抗防御
第18章
功耗优化
动态电压频率调整(DVFS)、推理任务调度、睡眠模式与唤醒策略、电池供电设备的续航优化。
DVFS任务调度续航
第19章
实时性保障
RTOS任务优先级设计、推理任务的时间片管理、硬实时与软实时的权衡。
RTOS时间片硬实时
第20章
调试与性能分析
使用Perf、GDB、Tracealyzer分析推理瓶颈、内存泄漏检测、算子耗时统计。
PerfGDBTracealyzer
第21章
实战项目一:智能语音助手
在ESP32-S3上部署唤醒词+LLM对话(使用LLaMA.cpp的极小版本)。
ESP32-S3LLaMA.cpp语音助手
第22章
实战项目二:工业异常检测
在瑞萨RA6M5上部署异常声音检测模型(使用TFLite Micro)。
瑞萨RA6M5TFLite Micro异常检测
第23章
实战项目三:可穿戴健康监测
在Nordic nRF5340上部署心率异常预测模型(使用Edge Impulse)。
nRF5340Edge Impulse健康监测
第24章
实战项目四:智能家居中控
在树莓派上部署本地LLM控制Home Assistant设备(使用Ollama)。
树莓派OllamaHome Assistant
第25章
实战项目五:边缘视频分析
在Jetson Orin Nano上部署YOLO-World + 小模型进行开放词汇检测。
Jetson OrinYOLO-World开放词汇
第26章
模型持续学习与OTA更新
在嵌入式设备上实现增量学习、通过OTA推送模型更新、版本回滚机制。
增量学习OTA版本回滚
第27章
开源生态与社区资源
Hugging Face for Embedded、TinyML基金会、Awesome-Edge-LLM仓库、论文推荐。
Hugging FaceTinyMLAwesome-Edge-LLM
第28章
性能基准测试与选型
不同硬件(STM32、ESP32、树莓派、Jetson)的LLM推理性能对比表、选型决策树。
性能对比选型决策硬件
第29章
未来趋势与挑战
存内计算、神经形态芯片、超低功耗Transformer、嵌入式LLM的标准化进程。
存内计算神经形态标准化
第30章
课程总结与毕业设计指导
知识体系回顾、毕业设计选题建议(智能穿戴、工业边缘、机器人)、答辩技巧。
总结毕设选题答辩