1、帧率瓶颈全景图：双目视觉系统帧率瓶颈分析
1.1 课程介绍：为什么我们需要关注帧率？
在嵌入式双目视觉系统中，帧率（FPS，Frames Per Second）不仅仅是“画面流畅度”的代名词。对于双目视觉而言，帧率直接决定了系统的实时性、深度估计的精度上限以及后续算法（如SLAM、目标跟踪、避障）的可用性。
本课程将深入剖析双目视觉系统中帧率受限的根本原因。我们将从硬件选型、驱动配置、数据传输链路到算法优化，逐层拆解瓶颈，并提供可落地的优化策略。无论你是刚接触双目视觉的工程师，还是正在为系统卡顿而苦恼的开发者，本课程都将为你提供一份清晰的“帧率诊断地图”。
1.2 帧率为什么重要？—— 双目视觉的特殊性
与单目相机不同，双目视觉对帧率有更苛刻的要求，主要体现在以下三个维度：
| 维度 | 单目视觉 | 双目视觉 |
|---|---|---|
| 数据量 | 单帧图像 | 左、右两帧图像（数据量翻倍） |
| 同步性 | 无严格要求 | 左右帧必须严格同步，否则深度计算错误 |
| 计算负载 | 通常为单帧处理 | 需要立体匹配（SGM、BM等），计算量呈指数级增长 |
| 运动场景 | 低帧率可接受（如15fps） | 低帧率导致运动模糊、深度断层，严重影响避障/跟踪 |
核心结论： 双目系统的帧率瓶颈是“数据量 × 计算量”双重叠加的结果。一个典型的30fps双目系统，其实际数据吞吐量相当于60fps的单目系统，而计算负载可能高出数倍。
1.3 影响帧率的三大核心环节
任何双目视觉系统的帧率都可以抽象为以下三个环节的串联。任何一个环节出现短板，都会成为整个系统的瓶颈。
1.3.1 采集环节（Sensor & ISP）
这是帧率的起点，决定了原始图像数据能有多快进入系统。
- 传感器帧率上限： 每个图像传感器（如OV系列、IMX系列）都有其最大帧率，通常与分辨率成反比。例如：1280×720 @ 60fps vs 1920×1080 @ 30fps。
- 曝光时间限制： 在低光照环境下，为了获得足够亮度，曝光时间可能长达20ms以上，这直接限制了帧率上限（1/曝光时间 = 理论最大帧率）。
- ISP处理延迟： 图像信号处理器（ISP）负责去噪、白平衡、校正等。如果ISP处理速度跟不上传感器输出，就会造成帧丢失。
- 双相机同步开销： 硬件触发同步（如GPIO）需要额外的时序开销，软件同步则更不可靠且延迟更高。
1.3.2 传输环节（Interface & Bus）
采集到的原始数据（通常是RAW或YUV格式）需要从传感器传输到主处理器（SoC/FPGA）。这是最容易忽视的瓶颈。
- 接口带宽：
- MIPI CSI-2： 常用接口，单lane带宽通常为1Gbps~2.5Gbps。例如：2-lane MIPI传输1080p@30fps（约1.5Gbps）已接近饱和。
- USB 3.0： 理论5Gbps，但实际受协议开销和驱动影响，通常只能达到3.2Gbps左右。
- GigE / Ethernet： 受限于1Gbps带宽，传输高分辨率双目图像非常吃力。
- 总线竞争： 在嵌入式系统中，DDR内存、DMA通道、PCIe总线可能被多个外设共享（如同时运行显示、网络、存储），导致传输延迟抖动。
- 数据格式与压缩： 未压缩的RAW12/RAW10数据量巨大。是否使用MIPI压缩（如DPHY v2.0的压缩）或软件压缩，直接影响传输效率。
1.3.3 处理环节（CPU/GPU/NPU & Algorithm）
这是最复杂的环节，也是大多数工程师首先想到的优化点。
- 立体匹配算法复杂度：
- BM（块匹配）： 速度快，但精度低，适合低算力平台。
- SGM（半全局匹配）： 精度高，但计算量大，对内存带宽要求高。
- 基于深度学习的方法： 精度最高，但需要NPU或GPU，且模型推理时间可能成为瓶颈。
- 图像预处理： 去畸变、极线校正、直方图均衡化等操作，如果使用CPU逐像素处理，会消耗大量时间。
- 后处理与输出： 深度图滤波、点云生成、目标检测等后续任务，会进一步拖慢整体帧率。
- 内存带宽瓶颈： 双目处理需要频繁读写大块图像数据（左右图、视差图、深度图）。如果DDR带宽不足（如LPDDR4 vs LPDDR5），CPU/GPU会因等待数据而空转。
小结： 帧率瓶颈不是单一因素造成的，而是“采集-传输-处理”链条中最弱的一环决定的。在后续章节中，我们将逐一深入每个环节，给出具体的诊断方法和优化方案。