智能音箱深度学习模型边缘部署实战 · 课程目录

01边缘计算与智能音箱概述

边缘计算概念、智能音箱架构、边缘部署的挑战与机遇。

02嵌入式Linux系统搭建

交叉编译环境配置、根文件系统制作、内核编译与烧录。

03深度学习模型基础回顾

神经网络原理、卷积与循环网络、激活函数与损失函数。

04模型轻量化技术 (上)

模型剪枝原理、结构化与非结构化剪枝、实战：对语音唤醒模型进行剪枝。

05模型轻量化技术 (下)

知识蒸馏原理、教师-学生网络架构、实战：用蒸馏压缩关键词识别模型。

06量化技术详解

FP32与INT8量化原理、训练后量化与量化感知训练、TensorRT量化实践。

07ONNX模型转换与优化

ONNX格式介绍、PyTorch/TF模型转ONNX、ONNX Runtime部署。

08TFLite Micro部署实战

TFLite Micro框架介绍、模型转换与量化、在Cortex-M上运行推理。

09TensorRT加速推理

TensorRT工作流、Engine构建与序列化、动态形状与多流优化。

10语音前端信号处理

MFCC特征提取、VAD语音活动检测、降噪算法在边缘的实现。

11唤醒词模型部署

唤醒词模型结构、MCU端推理优化、低功耗唤醒策略。

12语音命令识别部署

命令集设计、端到端模型部署、实时性优化技巧。

13文本转语音 (TTS) 边缘化

轻量TTS模型选择、音色克隆的局限、流式合成实现。

14自然语言理解 (NLU) 裁剪

意图识别与槽位填充、BERT Tiny部署、词表压缩技巧。

15多轮对话状态管理

对话状态追踪、轻量级DST模型、边缘端缓存策略。

16音频流处理Pipeline

多线程音频采集、环形缓冲区设计、实时推理调度。

17异构计算与NPU加速

NPU架构简介、模型映射与算子适配、算能/瑞芯微NPU实战。

18内存与存储优化

模型分片加载、内存池设计、Flash存储管理。

19功耗管理与热优化

DVFS调频策略、休眠唤醒机制、温控降频算法。

20OTA远程升级

差分升级原理、安全启动链、回滚机制设计。

21安全与隐私保护

端侧加密推理、声纹锁实现、敏感数据本地处理。

22性能基准测试

延迟/吞吐量/内存基准、Profiling工具使用、瓶颈定位与优化。

23调试与日志系统

远程日志输出、崩溃回传、断言与异常处理。

24持续集成与自动化测试

CI/CD流水线搭建、模型回归测试、硬件在环测试。

25多麦克风阵列处理

波束成形原理、声源定位、回声消除边缘实现。

26声学场景分类

场景分类模型、环境自适应音量、噪声类型识别。

27个性化声纹识别

说话人确认、注册与验证流程、模型增量更新。

28多语言支持

多语言唤醒词、语言检测器、词表动态切换。

29产品化与认证

FCC/CE认证要点、声学测试规范、量产烧录流程。

30综合项目实战

从需求分析到量产部署全流程、常见问题复盘、未来趋势展望。