1、课程导论与设备准备：了解音视频同步的基本概念，准备USB摄像头、麦克风以及Python开发环境

1.1 为什么音视频同步这么重要？

说实话，我刚开始做音视频开发那会儿，踩过最大的坑就是「音画不同步」。

你想想看，一个视频会议里，对方嘴巴在动，声音却慢了半拍。或者直播时，画面已经切到下一个场景了，上一句台词还在耳边回响。这种体验，说白了就是灾难。

我曾在一次线上分享中遇到过这种情况。当时摄像头采集的画面和麦克风采集的声音，在录制端看起来完全正常，但推流到观众端后，声音比画面快了将近 200 毫秒。观众在弹幕里疯狂吐槽「对不上口型」。嗯，那次之后，我花了整整一周去研究音视频同步的底层原理。

所以这门课的第一个目标，就是帮你彻底搞懂「同步」这件事。

1.2 你需要准备哪些硬件？

工欲善其事，必先利其器。咱们先把手头的设备理一理。

USB 摄像头

随便一个 USB 摄像头都行。我建议你选支持 720p 以上分辨率的，30fps 帧率就够用。如果你手头只有笔记本内置摄像头，也可以，但要注意——内置摄像头通常走的是 MIPI 接口，采集方式跟 USB 摄像头略有不同，后面我会讲到差异。

我曾经用过一个十几块钱的杂牌摄像头，结果发现它输出的帧率极其不稳定，有时候 15fps，有时候突然跳到 30fps。这种设备做实验会让人抓狂。所以，尽量选个靠谱点的。

麦克风

麦克风的选择其实比摄像头更讲究。我建议用 USB 麦克风，或者带麦克风的耳机。为什么？因为内置麦克风容易采集到键盘敲击声、风扇声，这些噪声在后续处理时会很麻烦。

如果你实在没有外接麦克风，笔记本内置的也能凑合。但记得在代码里加上降噪处理，这个我们后面章节会讲。

1.3 Python 开发环境搭建

好，硬件准备好了，接下来是软件环境。这部分我尽量精简，因为我相信你大概率已经装好了 Python。但有几个关键点，我得啰嗦一下。

Python 版本

我推荐 Python 3.8 到 3.11 之间的版本。3.12 虽然新，但有些音视频库还没完全适配。我自己目前用的是 Python 3.10，稳定得很。

核心库安装

咱们这门课会用到的核心库有这几个：

库名	用途	安装命令
opencv-python	摄像头采集、图像处理	pip install opencv-python
pyaudio	麦克风采集、音频播放	pip install pyaudio
numpy	数据处理、数组操作	pip install numpy
sounddevice	音频采集的备选方案	pip install sounddevice

安装 pyaudio 时，Windows 用户可能会遇到报错。别慌，我曾经也卡在这一步。解决方案是去 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的 whl 文件，然后本地安装。

验证环境

装完之后，跑一段最简单的代码验证一下：

import cv2
import pyaudio
import numpy as np

print("OpenCV 版本:", cv2.__version__)
print("PyAudio 版本:", pyaudio.__version__)
print("NumPy 版本:", np.__version__)
print("环境准备就绪！")

如果三行都打印出来了，恭喜你，环境搭好了。

1.4 第一个小实验：看看你的设备

光说不练假把式。咱们先写个脚本，看看摄像头和麦克风能不能正常工作。

import cv2
import pyaudio
import numpy as np

# 检查摄像头
cap = cv2.VideoCapture(0)
if not cap.isOpened():
    print("摄像头打开失败，请检查连接")
else:
    ret, frame = cap.read()
    if ret:
        print(f"摄像头工作正常，分辨率: {frame.shape[1]}x{frame.shape[0]}")
    cap.release()

# 检查麦克风
p = pyaudio.PyAudio()
device_count = p.get_device_count()
mic_found = False
for i in range(device_count):
    info = p.get_device_info_by_index(i)
    if info['maxInputChannels'] > 0:
        print(f"麦克风 {i}: {info['name']}")
        mic_found = True
if not mic_found:
    print("未检测到麦克风，请检查连接")
p.terminate()

这段代码会列出你所有的音频输入设备。我遇到过一种情况：明明插了 USB 麦克风，但系统默认用的是内置麦克风。所以记得看清楚设备名称，后面章节我们会指定设备索引。

1.5 关于同步，你需要先知道这些

在正式开始采集之前，有几个概念我得先跟你讲清楚。不然后面代码跑起来，你可能会一脸懵。

时间戳（Timestamp）

每个音频帧和视频帧，都需要打上一个时间戳。这个时间戳不是系统时间，而是从采集开始算起的相对时间。比如第 1 秒采集的视频帧，时间戳就是 1.0 秒。

我见过很多新手直接用 time.time() 打时间戳，结果发现音频和视频的时间基准不一样，同步全乱套。正确的做法是用同一个时钟源，比如 time.perf_counter()。

缓冲区（Buffer）

音频采集是连续不断的，视频采集是离散的帧。音频数据会先进入一个缓冲区，视频帧也是。如果缓冲区太大，延迟就高；太小，又容易丢数据。这个平衡点，我们后面会慢慢调。

1.6 本章小结

好，第一章的内容就这些。我们做了三件事：

• 理解了音视频同步的基本概念和三种同步方式
• 准备好了 USB 摄像头和麦克风
• 搭建了 Python 开发环境，并验证了设备可用

下一章，我们会真正开始写代码——用 OpenCV 采集摄像头画面，用 PyAudio 采集麦克风声音，然后把它们分别保存下来。你会发现，采集本身并不难，难的是让它们「步调一致」。嗯，到时候我会告诉你我踩过的坑。

对了，如果你在环境搭建时遇到任何问题，别硬扛。去群里问，或者翻翻评论区，大概率有人遇到过同样的问题。咱们下章见。