2、声音的物理基础:声波特性、数字音频采样与量化、常见音频格式对比
各位同学,咱们今天聊聊声音的物理基础。说实话,这部分内容看起来有点理论,但你要是搞AI语音合成,这些就是地基。地基不稳,楼盖得再高也得塌。我自己刚入行那会儿,就因为没搞懂采样率,折腾了好几天,最后发现是数据格式不对——嗯,都是血泪教训。
2.1 声波的三大特性:频率、振幅、相位
声音的本质是什么?说白了,就是空气的振动。这种振动以波的形式传播,所以我们叫它声波。声波有三个核心参数,你必须要吃透。
2.1.1 频率
频率决定了声音的「音高」。单位是赫兹(Hz),表示每秒振动的次数。人耳能听到的范围大概是20Hz到20kHz。低于20Hz叫次声波,高于20kHz叫超声波。
我在做语音克隆项目时,遇到过一个问题:合成的女声听起来有点「闷」。后来一查,原来是模型对高频部分的还原不够好。女声的基频通常在200-300Hz,但泛音能到8kHz以上。你想想看,如果高频细节丢了,声音自然就不像了。
2.1.2 振幅
振幅决定了声音的「响度」。振幅越大,声音越响。单位是分贝(dB)。这里有个坑:人耳对响度的感知不是线性的。比如,10dB的差别,人耳感觉音量翻了一倍。
我曾经在调试TTS(文本转语音)系统时,发现合成出来的语音忽大忽小。后来发现是音频文件本身的振幅不一致。所以,我建议你在预处理数据时,一定要做振幅归一化处理。
2.1.3 相位
相位这个概念,很多人容易忽略。它描述的是波在某个时刻的位置状态。单位是度(°)或弧度(rad)。
说实话,人耳对相位的敏感度不高。但在多声道系统里,相位就很重要了。比如立体声,左右声道的相位差决定了声音的「空间感」。我做AI语音合成时,一般不直接操作相位,但如果你要做声源定位或空间音频,相位就是绕不开的。
2.2 数字音频:采样与量化
模拟声音是连续的,但计算机只能处理离散的数字。所以,我们需要把模拟信号转成数字信号。这个过程叫模数转换(ADC)。核心就两步:采样和量化。
2.2.1 采样
采样,就是每隔一段时间,记录一次声音的振幅值。采样的频率叫采样率,单位是Hz。常见的采样率有:
- 8kHz:电话语音,够用但音质差
- 16kHz:语音合成和识别的标准,我大部分项目都用这个
- 44.1kHz:CD音质,适合音乐
- 48kHz:影视制作标准
这里有个经典问题:采样率到底要多高?答案是遵循奈奎斯特定理——采样率至少要是信号最高频率的两倍。比如,人声最高到8kHz,那16kHz的采样率就够用了。
2.2.2 量化
量化,就是把采样得到的振幅值,用有限个数字来表示。量化的精度叫位深度,单位是bit。常见的位深度有:
- 8-bit:256个等级,音质粗糙,有底噪
- 16-bit:65536个等级,CD标准,语音合成够用
- 24-bit:16777216个等级,录音棚标准
- 32-bit float:科学计算常用,精度极高
量化会产生误差,叫量化噪声。位深度越高,噪声越小。我个人习惯,做AI语音训练时,音频统一用16-bit。为什么?因为16-bit的量化噪声已经低于人耳可感知的范围了。再高,文件体积变大,收益却很小。
2.3 常见音频格式对比:WAV、MP3、FLAC
搞AI语音,你天天都得跟音频格式打交道。常见的就三种:WAV、MP3、FLAC。我分别说说它们的优缺点。
| 格式 | 类型 | 压缩方式 | 音质 | 文件大小 | 适用场景 |
|---|---|---|---|---|---|
| WAV | 无损 | 无压缩 | 完美 | 大 | 原始数据存储、AI训练 |
| MP3 | 有损 | 感知编码 | 可接受 | 小 | 网络传输、音乐播放 |
| FLAC | 无损 | 无损压缩 | 完美 | 中等 | 存档、高质量传输 |
2.3.1 WAV格式
WAV是微软和IBM联合开发的。说白了,它就是裸数据加一个文件头。没有压缩,音质最好。但文件体积也最大。
我做AI语音训练时,所有原始数据都存成WAV。为什么?因为任何压缩都会引入失真,哪怕是无损压缩。对于模型训练来说,数据越纯净越好。
2.3.2 MP3格式
MP3是有损压缩格式。它利用人耳的听觉特性,把听不到或不太敏感的频率信息丢掉。所以,文件可以压缩到原来的十分之一,但音质损失不大。
不过,对于AI语音合成来说,MP3是「毒药」。因为压缩算法会引入伪影(artifacts),这些伪影在模型训练时会被当成有效特征学进去。结果就是,合成出来的语音有「沙沙」声。我曾经用MP3数据训练过一个模型,效果惨不忍睹。从那以后,我再也不用MP3做训练数据了。
2.3.3 FLAC格式
FLAC是无损压缩格式。它能把WAV文件压缩到60%左右,但解压后数据完全一样。对于存档和传输来说,FLAC是个好选择。
我个人习惯,在项目交付时,如果对方需要高质量音频,我会给FLAC。既节省了带宽,又保证了音质。但在训练阶段,我还是坚持用WAV。为什么?因为FLAC解压需要时间,训练时频繁解压会拖慢速度。
好了,这一章的内容就这些。声音的物理基础,说白了就是频率、振幅、相位这三个东西。数字音频的核心就是采样和量化。音频格式嘛,记住WAV为王。下一章,咱们聊聊语音信号处理的基本操作,比如预加重、分帧、加窗这些。到时候见。