4、视频流采集基础：OpenCV读取USB摄像头、读取IP Camera（RTSP协议）、视频帧率控制与缓存策略

做边缘智能摄像头，第一步就是搞定视频流。这事儿听起来简单，不就是打开摄像头嘛？但实际坑不少。我最早做这个的时候，以为调个 cv2.VideoCapture(0) 就完事了，结果项目现场各种翻车——USB摄像头掉帧、RTSP流卡死、帧率对不上模型推理速度……今天我把这些经验掰开揉碎讲给你听。

4.1 读取USB摄像头：从“能用”到“稳定”

OpenCV读取USB摄像头，核心就一行代码：

import cv2
cap = cv2.VideoCapture(0)  # 0 表示第一个摄像头设备

但这里有个细节——摄像头索引号。笔记本自带摄像头通常是0，外接USB摄像头可能是1或2。我遇到过一台工控机，插了三个USB摄像头，索引号乱跳。后来怎么解决的？用 cap.isOpened() 循环检测，或者直接指定设备路径（Linux下 /dev/video0）。

另一个常见问题是分辨率设置。默认640x480，但很多USB摄像头支持1280x720甚至1920x1080。设置方法：

cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 720)

注意：不是所有摄像头都支持你设置的分辨率。我建议设置完后读一下实际值：

w = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
h = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)
print(f"实际分辨率: {w}x{h}")

嗯，这里要特别提醒：USB摄像头在边缘设备上容易掉帧。原因通常是USB带宽不足或驱动问题。我在树莓派上遇到过，插两个USB摄像头，第二个直接打不开。解决方案？用USB3.0接口，或者降低分辨率。

4.2 读取IP Camera（RTSP协议）：网络摄像头的正确打开方式

现在大部分安防摄像头都支持RTSP协议。格式一般是：

rtsp://username:password@ip:port/stream_path

比如海康威视的典型地址：

rtsp://admin:12345@192.168.1.100:554/h264/ch1/main/av_stream

OpenCV读取RTSP流和USB摄像头一样：

cap = cv2.VideoCapture("rtsp://admin:12345@192.168.1.100:554/...")

但这里有个大坑——RTSP流不稳定。网络抖动、摄像头重启、密码过期……任何一个问题都会导致 cap.read() 返回空帧。我曾经在项目现场调试到凌晨，就是因为摄像头固件升级后RTSP地址变了。

另外，RTSP流的延迟问题也很头疼。OpenCV默认的FFmpeg后端会缓存大量帧，导致延迟高达2-3秒。怎么解决？

cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)  # 减少缓冲区

或者用 cv2.CAP_FFMPEG 后端，设置 fflags=low_delay。我个人更推荐用GStreamer后端，延迟能控制在200ms以内。

4.3 视频帧率控制：别让摄像头“跑”太快

摄像头采集帧率和模型推理帧率往往是两回事。摄像头可能输出30fps，但你的模型只能跑10fps。如果不加控制，cap.read() 会一直读取新帧，旧帧被丢弃，CPU白白浪费。

最简单的控制方法：定时读取。

import time

target_fps = 10
interval = 1.0 / target_fps

while True:
    start = time.time()
    ret, frame = cap.read()
    if not ret:
        break
    # 处理帧...
    elapsed = time.time() - start
    sleep_time = max(0, interval - elapsed)
    time.sleep(sleep_time)

但这个方法有个问题——time.sleep() 精度不够。在Linux上还好，Windows上误差可能达到10ms。对于高精度场景，我建议用 time.perf_counter() 做更精细的控制。

另一个技巧：跳帧策略。如果模型处理太慢，可以每N帧才处理一次：

frame_count = 0
while True:
    ret, frame = cap.read()
    frame_count += 1
    if frame_count % 3 != 0:  # 每3帧处理1帧
        continue
    # 处理帧...

这样CPU负载能降下来，而且视频看起来还是流畅的——因为人眼对30fps和10fps的差异并不敏感。

4.4 缓存策略：别让内存“爆炸”

边缘设备内存有限，缓存策略很重要。我见过有人把每一帧都存到列表里，结果跑了几分钟内存就爆了。

常用的缓存策略有三种：

策略	适用场景	优点	缺点
无缓存（实时处理）	实时监控、门禁	延迟最低	无法回溯
环形缓冲区	事件检测、回放	固定内存占用	需要管理读写指针
队列缓存	异步处理、多线程	灵活、可扩展	可能堆积

我项目中用得最多的是环形缓冲区。比如保存最近30帧，用于事件触发后的回放：

from collections import deque

buffer = deque(maxlen=30)  # 最多存30帧

while True:
    ret, frame = cap.read()
    buffer.append(frame)
    # 检测到事件时，buffer里就是最近30帧

你看，deque 自动管理了内存，不会超过30帧。而且它是线程安全的，配合多线程处理非常方便。

还有一个容易被忽略的点——帧的时间戳。缓存帧时一定要带上时间戳，否则后面分析时根本不知道这帧是什么时候拍的。

buffer.append({
    "frame": frame,
    "timestamp": time.time()
})

嗯，这个习惯我是在一次项目复盘后养成的。当时客户要求回放“事件发生前5秒”的视频，结果我们没存时间戳，根本对不上时间轴……

4.5 知识体系总览

下面这张图总结了本章的核心逻辑：

说白了，视频流采集就是三个核心问题：从哪里读（USB还是RTSP）、怎么控制节奏（帧率）、怎么存（缓存）。把这三点搞明白，边缘智能摄像头的视频采集部分就稳了。

最后说一句：别迷信OpenCV的默认参数。每个摄像头、每个网络环境都不一样，一定要在实际设备上测试。我见过太多人拿着笔记本调试得好好的，一到现场就崩——因为现场的网络延迟、USB供电、摄像头型号全都不一样。

嗯，今天就聊到这儿。下一节我们讲视频预处理，包括缩放、格式转换、ROI提取这些实战技巧。

---