🎓 智能音箱 · 传感器融合 & 手势识别
📘 30章 实战目录
v2.0
01
课程导论
智能音箱市场
传感器融合概览
手势识别路线
项目总览
02
硬件平台搭建
ESP32/Raspberry Pi
麦克风阵列
IMU选型
红外传感器
电路调试
03
开发环境配置
Arduino/PlatformIO
Python环境
TensorFlow Lite
MediaPipe
Arduino_LSM9DS1
04
基础传感器驱动
I2C/SPI通信
IMU数据读取
PDM/I2S麦克风
红外手势读取
05
传感器数据预处理
卡尔曼滤波
互补滤波
归一化
滑动窗口
FFT特征
06
手势识别基础
静态vs动态
规则阈值法
KNN
SVM
07
基于IMU的手势识别
姿态解算
DTW算法
挥动/旋转/点击
08
基于红外的手势识别
红外阵列原理
多通道采集
光流方向
滑动/靠近
09
麦克风阵列声源定位
波束成形
TDOA算法
角度估计
指向性唤醒
10
多传感器融合(上)
时间戳对齐
坐标系统一
EKF融合
IMU+红外
11
多传感器融合(下)
决策级投票
特征级拼接
数据级融合
12
机器学习入门
特征工程
数据集标注
训练/测试划分
评估指标
13
TensorFlow Lite训练
Colab训练
模型量化
.tflite部署
14
MediaPipe框架集成
Hands模型
PC关键点检测
串口传输
15
边缘AI推理优化
模型剪枝
知识蒸馏
ESP32-S3 PIE
内存优化
16
语音唤醒与命令词
VAD检测
KWS算法
TensorFlow Micro
Hey Device
17
多模态交互设计
语音+手势协同
冲突解决
意图识别
18
RTOS应用(FreeRTOS)
任务创建管理
传感器采集任务
手势/音频调度
19
低功耗设计
传感器休眠唤醒
DVFS
电池供电
功耗测量
20
通信与云端交互
MQTT
HTTP/HTTPS
WebSocket
21
本地语音合成TTS
eSpeak/Flite
文本转语音
音量语速控制
22
用户界面与反馈
LED灯带WS2812
OLED显示
蜂鸣器提示
23
系统集成与联调
硬件组装
模块联调
压力测试
长时间运行
24
项目实战：智能灯光
手势控制开关
亮度调节
语音确认
25
项目实战：音乐播放器
左右滑动切歌
语音控制音量
26
项目实战：智能安防
红外入侵检测
语音报警
手势解除
27
项目实战：智能闹钟
拍打关闭闹钟
语音设置时间
28
性能测试与优化
准确率测试
响应延迟
融合效果对比
29
常见问题与调试
传感器异常
模型推理失败
无线干扰
30
课程总结与展望
项目回顾
毫米波雷达
脑机接口
开源资源
⚡ 点击卡片「进入」按钮 跳转对应章节 · 30章完整版