语音增强与降噪技术实战 · 课程目录

01

语音增强概述

什么是语音增强？应用场景（通信、助听器、智能音箱、会议系统）。课程知识体系与学习路径。

02

声音的物理基础

声波、频率、振幅、相位。时域与频域基本概念。采样定理与量化。

03

数字信号处理基础 (上)

傅里叶变换(FT)与短时傅里叶变换(STFT)。频谱与语谱图。

04

数字信号处理基础 (下)

滤波器设计基础(FIR/IIR)。窗函数的作用与选择。

05

噪声特性分析

噪声分类(平稳/非平稳、加性/乘性)。常见噪声模型(白噪声、粉红噪声、汽车噪声、人群噪声)。

06

信噪比与感知评价

SNR、PESQ、STOI等客观评价指标。主观听感测试(MOS)。

07

谱减法 (Spectral Subtraction)

基本原理与数学推导。经典谱减法实现。音乐噪声的产生与抑制。

08

维纳滤波 (Wiener Filtering)

维纳滤波理论。时变维纳滤波。与谱减法的对比。

09

最小均方误差 (MMSE) 估计

MMSE-STSA算法。基于先验信噪比的估计。对数MMSE (Log-MMSE)。

10

子空间方法 (Subspace)

信号子空间与噪声子空间分解。KLT域语音增强。

11

自适应滤波 (Adaptive Filtering)

LMS与NLMS算法。回声消除中的自适应滤波。

12

麦克风阵列基础

波束形成原理。延时求和 (Delay-and-Sum) 波束形成。

13

固定波束形成

MVDR (最小方差无失真响应) 波束形成。LCMV (线性约束最小方差) 波束形成。

14

自适应波束形成

GSC (广义旁瓣对消器)。后置滤波与波束形成结合。

15

盲源分离 (BSS)

ICA (独立成分分析) 原理。Cocktail Party 问题。

16

深度学习入门 (上)

神经网络基础 (MLP、激活函数)。训练流程 (前向/反向传播)。

17

深度学习入门 (下)

卷积神经网络 (CNN) 基础。循环神经网络 (RNN/LSTM) 基础。

18

基于DNN的语音增强

全连接网络映射 (DNN-based SE)。特征提取 (MFCC、Log-Mel谱)。训练数据准备。

19

基于CNN的语音增强

CNN结构设计 (U-Net、TFCN)。时频掩码估计 (IRM、IBM)。

20

基于RNN/LSTM的语音增强

时序建模优势。双向LSTM结构。序列到序列 (Seq2Seq) 模型。

21

GAN在语音增强中的应用

SEGAN结构。对抗训练策略。

22

Transformer与注意力机制

自注意力机制。Conformer模型。在语音增强中的应用。

23

扩散模型 (Diffusion Models)

基本原理。条件扩散模型在语音增强中的应用。

24

实时语音增强系统设计

低延迟架构。帧处理与重叠相加(OLA)。移动端/嵌入式优化。

25

后处理技术

噪声估计更新策略。语音活动检测(VAD)。平滑与抑制因子控制。

26

多任务学习与联合优化

语音增强+语音分离。语音增强+ASR联合优化。

27

数据增强与自监督学习

数据增强方法(加噪、变速、混响)。自监督预训练(WavLM、HuBERT)。

28

语音增强评估与调试

常见数据集(DNS Challenge、VoiceBank+DEMAND)。评估流程与指标解读。

29

工业级案例实战 (上)

智能音箱远场语音增强。会议系统降噪。

30

工业级案例实战 (下)

助听器算法设计。车载语音交互系统。课程总结与未来趋势。