车载语音数据采集与标注实战

01

车载语音数据采集概述

为什么需要高质量的车载语音数据？车载环境声学特点：风噪、路噪、发动机噪声、空调声、多人对话等。

采集基础

02

采集设备选型与搭建

麦克风阵列选型（线性/环形阵列）、声卡与ADC选型、车载安装位置（A柱、顶棚、后视镜）声学考量。

硬件

03

采集场景与路线规划

城市道路、高速公路、隧道、地下车库、不同车速（0/60/120 km/h）下的数据采集策略。

路线

04

采集人员与话术设计

不同年龄、性别、方言的发音人招募；唤醒词、命令词、自由对话脚本设计。

话术

05

采集流程标准化 (SOP)

从设备上电、电平校准、录音开始到数据备份的完整标准作业程序。

流程

06

数据质量控制（实时监控）

录音电平监控、信噪比(SNR)实时计算、削波检测、静音检测。

质量

07

数据预处理

降噪算法（谱减法、维纳滤波）、VAD（语音活动检测）、预加重、分帧加窗。

预处理

08

数据清洗

去除重复数据、低信噪比片段、非语音片段、敏感信息。

清洗

09

数据标注概述

标注在ASR和NLU中的作用；标注类型：音素级、字词级、句子级、语义级。

标注基础

10

转写标注 (ASR标注)

音频与文本对齐、标点符号规范、数字读法规范（“一二三” vs “123”）、英文单词标注规范。

转写

11

发音词典构建

CMU词典格式、自定义词典、多音字处理、方言音标标注。

词典

12

声学模型训练数据准备

强制对齐(Forced Alignment)、切分音频、生成特征文件(MFCC、Fbank)。

特征

13

唤醒词数据标注

正样本（唤醒词）与负样本（非唤醒词）标注策略、数据均衡、难例挖掘。

唤醒词

14

命令词与槽位标注

意图分类标注、实体（槽位）标注，如“导航到[地点]”中的地点。

槽位

15

情感与副语言标注

语气（疑问、命令、感叹）、语速（快/中/慢）、情感（高兴、生气、中性）。

情感

16

标注工具选型与使用

开源工具(Praat、ELAN、Audacity)与商业工具(Labelbox、Supervisely)对比；平台搭建。

工具

17

标注人员培训与管理

标注规范文档编写、标注一致性检验(Kappa系数)、标注员绩效考核。

管理

18

标注质量检验

抽检策略、标注错误类型（漏标、错标、多标）、标注修正流程。

质检

19

数据增强

加噪(Noise Injection)、变速(Speed Perturbation)、音调调整(Pitch Shift)、时域掩蔽(Time Masking)。

增强

20

数据格式转换与存储

WAV/FLAC/MP3格式选择；JSON、CSV、Kaldi格式标注文件组织；目录结构规范。

格式

21

数据版本管理

使用DVC或Git LFS管理数据集版本；数据变更追踪。

版本

22

隐私与合规

GDPR与个人信息保护法要求；数据脱敏（去除车牌号、电话号码）；用户授权协议。

合规

23

端到端项目实战（一）

从零搭建车载语音数据采集系统：硬件连接 + 软件配置。

实战

24

端到端项目实战（二）

执行一次完整采集任务：城市道路+高速，4小时，3位发音人。

实战

25

端到端项目实战（三）

数据预处理与清洗实战：Python脚本实现降噪+VAD+清洗。

实战

26

端到端项目实战（四）

使用Label Studio搭建标注平台并进行转写标注。

实战

27

端到端项目实战（五）

标注数据导出与格式转换：转换为Kaldi格式。

实战

28

端到端项目实战（六）

数据增强实战：使用audiomentations库进行加噪和变速。

实战

29

端到端项目实战（七）

训练一个简单的Kaldi ASR模型并评估数据质量。

实战

30

课程总结与进阶方向

从数据到模型的闭环；主动学习(Active Learning)在数据标注中的应用；未来趋势（自监督、少样本学习）。

总结

🚗 车载语音数据采集与标注