AI语音合成与克隆技术实战 · 课程目录

语音合成概述

发展历程、核心技术流派（拼接/参数/端到端）、应用场景与商业价值

声音的物理基础

声波特性（频率/振幅/相位）、数字音频采样量化、WAV/MP3/FLAC对比

语音信号预处理

预加重、分帧、加窗（汉明/汉宁）、短时傅里叶变换STFT原理

声学特征提取

梅尔频谱、MFCC、基频F0与能量特征

文本前端处理

中文分词(jieba/pkuseg)、音素转换G2P、韵律预测与停顿标记

Tacotron2模型架构

编码器-解码器、注意力机制(Location-sensitive)、CBHG模块详解

FastSpeech模型

非自回归架构、时长预测器、长度调节器

声码器技术

Griffin-Lim、WaveNet、WaveGlow、HiFi-GAN原理对比

端到端语音合成实战

Tacotron2+HiFi-GAN完整流程：数据准备、训练、推理

语音合成质量评估

主观MOS/ABX、客观MCD/F0 RMSE/CER

语音克隆技术概述

说话人验证、说话人嵌入、克隆分类(文本相关/无关)

说话人编码器

GE2E损失、ResNet Speaker Encoder、ECAPA-TDNN

基于微调的语音克隆

少量数据微调、说话人适配层、参数高效微调LoRA

零样本语音克隆

Speaker Embedding注入(GST/AdaIN)、跨语言克隆挑战

Speaker Encoder+Synthesizer+Vocoder三阶段流水线

多语言支持、VITS改进、说话人条件化方法

语音克隆数据准备

数据清洗(静音切除/音量归一)、说话人标注、数据增强

开源工具实战(一)

Coqui TTS安装、预训练模型加载、中文合成与克隆

开源工具实战(二)

GPT-SoVITS模型、参考音频选择、音色混合与风格控制

开源工具实战(三)

OpenVoice架构、音色与风格解耦、多语言克隆演示

语音克隆中的情感控制

情感嵌入、情感强度调节、参考音频情感迁移

实时语音合成

流式推理、模型量化(INT8/FP16)、ONNX Runtime部署

语音合成与克隆的伦理问题

Deepfake风险、声音版权、检测技术ASVspoof

跨语言语音克隆

多语言音素映射、代码切换处理、语种自适应训练

语音合成中的韵律控制

全局风格令牌GST、韵律嵌入、速度与停顿调节

模型压缩与边缘部署

知识蒸馏、剪枝、TensorFlow Lite/ONNX转换

语音合成与克隆的评测体系

数据集(VCTK/LibriTTS/AISHELL-3)、基线对比、排行榜

多说话人语音合成

说话人条件化、说话人分类损失、混合说话人训练

语音合成前沿趋势

Neural Codec(EnCodec/SoundStream)、语音语言模型(VALL-E/AudioLM)、零样本TTS

综合项目实战

构建中文语音克隆系统：数据采集、训练、Web API部署、前端交互