2. 音频基础理论:声音的物理特性、数字音频原理与人耳听觉特性
好,咱们正式开始第二讲。这一章是音频开发的“地基”,说白了就是搞清楚“声音到底是什么东西”。我见过不少做穿戴设备的同行,一上来就调算法、跑模型,结果麦克风选型不对,或者采样率设低了,最后出来的声音一塌糊涂。嗯,咱们先把这些基础概念捋清楚,后面做项目才能心里有底。
2.1 声音的物理特性
声音的本质是什么?是振动。空气被扰动,形成疏密波,传到我们耳朵里。描述这个波,有三个核心参数:频率、振幅、相位。
2.1.1 频率
频率就是每秒振动的次数,单位是赫兹(Hz)。频率决定了音调的高低。频率越高,声音越尖锐;频率越低,声音越低沉。
- 人耳可听范围:20 Hz ~ 20 kHz。这是理想情况。实际上,随着年龄增长,高频听力会逐渐下降。我35岁以后,就明显感觉16 kHz以上的声音听不太清了。
- 穿戴设备关注频段:语音通信主要关注300 Hz ~ 3.4 kHz(电话语音频段)。如果是做音乐或环境声采集,那就要覆盖20 Hz ~ 20 kHz。
2.1.2 振幅
振幅就是振动的幅度,决定了声音的响度(音量)。振幅越大,声音越响。在数字音频里,振幅通常用分贝(dB)来表示。
- 分贝是相对值:0 dBFS(数字满量程)是数字音频能表示的最大值。超过0 dB就会削波(Clipping),产生难听的失真。
- 动态范围:系统能记录的最大声音与最小声音之间的比值。穿戴设备受限于体积和功耗,动态范围通常不如专业设备。
2.1.3 相位
相位描述的是波形在时间轴上的位置。单位是度(°)或弧度(rad)。
- 同相与反相:两个同频率、同振幅的信号,如果相位差为0°,叠加后振幅加倍;如果相位差为180°,叠加后相互抵消。
- 实际应用:在穿戴设备中,经常用双麦克风做波束成形(Beamforming),就是利用相位差来增强某个方向的声音,抑制其他方向的噪声。
为什么会这样?因为声音到达两个麦克风的时间不同,产生了相位差。算法利用这个差异,就能“听”出声音是从哪个方向来的。
2.2 数字音频原理
模拟声音要变成计算机能处理的数字信号,需要经过采样、量化和编码。这里三个核心参数:采样率、位深、通道数。
2.2.1 采样率
采样率就是每秒采集多少个声音样本,单位是Hz或kHz。根据奈奎斯特采样定理,采样率必须大于信号最高频率的两倍,才能无失真地重建原始信号。
- 常见采样率:
采样率 典型应用 8 kHz 电话语音、对讲机 16 kHz 语音识别、穿戴设备语音采集 44.1 kHz CD音质、音乐 48 kHz 电影、专业音频 - 穿戴设备的选择:我个人习惯,做语音唤醒和语音识别,用16 kHz就够了。如果要做音乐录制或环境声分析,至少要用44.1 kHz。
2.2.2 位深
位深决定了每个样本的精度,也就是能表示多少种不同的振幅值。位深越大,动态范围越大,信噪比越高。
- 常见位深:
- 8位:256个量化等级,动态范围约48 dB。音质较差,有量化噪声。
- 16位:65536个量化等级,动态范围约96 dB。CD音质,也是穿戴设备的常用选择。
- 24位:16777216个量化等级,动态范围约144 dB。专业录音常用。
- 量化噪声:位深不够,量化误差就会变成噪声。你想想看,如果只用8位去录一段交响乐,弱音部分会被噪声淹没,强音部分又容易削波。
我记得有一次,一个学生用8位采样做心率监测的声音分析,结果数据里全是量化噪声,根本提取不到有效特征。后来换成16位,问题就解决了。
2.2.3 通道数
通道数就是同时采集的音频信号路数。
- 单声道:1个通道。穿戴设备最常用,省电、省带宽。
- 立体声:2个通道。左右声道,能提供空间感。
- 多声道:4个、6个甚至更多。用于环绕声、阵列麦克风。
在穿戴设备上,我建议优先考虑单声道。除非你的应用需要做声源定位或波束成形,否则双麦克风带来的功耗和体积增加,往往得不偿失。
2.3 人耳听觉特性
搞音频处理,不能只懂物理和数学,还得懂“人”。人耳不是一台完美的测量仪器,它有很多“非线性的”特性。
2.3.1 等响曲线
人耳对不同频率的声音敏感度不一样。对1 kHz ~ 5 kHz的声音最敏感,对低频和高频相对不敏感。而且,这种敏感度还跟音量有关。
- 等响曲线(Fletcher-Munson曲线):描述了人耳在不同声压级下,对不同频率声音的感知响度。
- 实际意义:在穿戴设备上做音量调节时,不能简单地线性增减。比如,降低音量时,低频和高频的衰减速度应该比中频慢,否则听起来会觉得“声音变闷了”。
2.3.2 掩蔽效应
一个声音的存在,会让人耳对另一个声音的感知能力下降。这就是掩蔽效应。
- 频域掩蔽:一个强音会掩蔽掉它附近频率的弱音。比如,一个响亮的1 kHz纯音,会让你听不到旁边1.1 kHz的微弱声音。
- 时域掩蔽:强音出现之前和之后的一小段时间内,弱音也会被掩蔽。
这个特性在音频压缩里用得最多。比如MP3编码,就是利用掩蔽效应,把那些“听不到”的声音信息丢掉,从而大幅压缩数据量。我在做穿戴设备的音频传输时,也借鉴了这个思路,把一些不重要的频段信息降低精度,节省带宽。
2.3.3 听觉疲劳与保护
长时间暴露在大音量下,人耳会产生听觉疲劳,甚至永久性损伤。穿戴设备(尤其是耳机类产品)必须考虑这一点。
- 安全音量:世界卫生组织建议,连续听音时间不超过1小时,音量不超过最大音量的60%。
- 产品设计:我参与过一款儿童手表的音频设计,专门加了一个“音量限制”功能,最大输出限制在85 dB SPL以下。虽然有些用户抱怨声音不够大,但安全第一。
2.4 小结
这一章的内容比较基础,但非常重要。频率、振幅、相位是声音的“三要素”;采样率、位深、通道数是数字音频的“三要素”;人耳的等响曲线和掩蔽效应,则是我们做音频处理时必须考虑的“生理约束”。
下一章,咱们会把这些知识用到实际中,聊聊穿戴设备上麦克风的选型和布局。到时候,你会发现这些基础概念有多重要。