🎧
语音前端
信号处理
算法工程化实践
从理论到工程 · 30章完整体系
📚
30 章节
⚡
工程实战
01
语音前端处理概述
导论
语音信号处理基本概念、前端处理流程、应用场景（语音识别、唤醒、通话降噪）
02
声学基础与数字信号处理回顾
声音的物理特性、时域与频域、采样定理、傅里叶变换基础
03
Python音频处理环境搭建
Python虚拟环境配置、librosa、soundfile、numpy、scipy、matplotlib安装与验证
04
音频文件读写与基础操作
WAV/MP3文件格式解析、使用soundfile和librosa读写音频、音频信息查看
05
时域分析与可视化
波形图绘制、短时能量、短时过零率计算与可视化、静音检测实战
06
频域分析与可视化
FFT原理与实现、频谱图、语谱图（Spectrogram）绘制、Mel频谱分析
07
预加重与分帧加窗
预加重滤波器设计、分帧原理、汉明窗/汉宁窗应用、帧移与帧长选择
08
端点检测（VAD）
基于能量的VAD、基于谱熵的VAD、双门限法VAD、webrtcvad库使用
09
噪声抑制基础
噪声类型与特性、谱减法原理与实现、维纳滤波原理
10
经典降噪算法实现
谱减法Python实现、维纳滤波Python实现、参数调优与效果对比
11
自适应滤波与回声消除
LMS/NLMS算法原理、自适应滤波器Python实现、AEC基本概念
12
麦克风阵列基础
麦克风阵列拓扑结构（线性/圆形/球形）、波束形成概念、延时求和波束形成
13
声源定位（DOA估计）
GCC-PHAT算法原理、时延估计、基于到达时间差的定位、SRP-PHAT简介
14
波束形成算法
延时求和波束形成实现、MVDR波束形成原理、GSC（广义旁瓣对消器）结构
15
盲源分离（BSS）与ICA
鸡尾酒会问题、ICA假设与原理、FastICA算法实现、BSS在语音中的应用
16
语音增强综合实战
结合VAD+降噪+波束形成的完整链路、Python代码实现与调试
17
特征提取（MFCC与Fbank）
MFCC计算流程、Fbank特征、Delta特征、Python实现与可视化
18
特征提取（PLP与Bottleneck特征）
PLP特征原理、Bottleneck特征提取（基于DNN）、特征对比
19
语音活动检测（VAD）进阶
基于DNN的VAD模型、DNN-VAD训练数据准备、ONNX推理部署
20
重采样与增益控制
重采样算法（线性/多相）、自动增益控制（AGC）原理与实现
21
实时音频处理框架设计
环形缓冲区（Ring Buffer）实现、多线程音频采集与处理、低延迟设计
22
Python音频流式处理
PyAudio库使用、实时音频流读取、逐帧处理与回调函数设计
23
C++与Python混合编程
pybind11基础、将关键算法（如VAD、降噪）封装为Python模块、性能优化
24
模型部署与ONNX推理
ONNX模型格式介绍、将训练好的DNN模型转为ONNX、Python ONNX Runtime推理
25
嵌入式平台移植
ARM平台优化、NEON指令集加速、定点数实现
26
通话降噪（NS）系统实战
单通道通话降噪系统设计、噪声估计与抑制、舒适噪声生成
27
关键词唤醒（KWS）前端处理
KWS系统架构、前端特征提取优化、唤醒词检测与误触发抑制
28
Pipeline集成测试
构建完整测试集、客观指标（PESQ/STOI/SISDR）计算、主观听感评估
29
工程化最佳实践
代码规范与文档、单元测试与CI/CD、日志与监控、版本管理
30
项目实战：智能音箱语音前端系统
需求分析、系统设计、模块实现、联调与优化、总结与展望