图像传感器接口与RAW数据格式
各位同学，今天我们来聊聊ISP硬件加速器设计中最基础、也最关键的一环——图像传感器接口与RAW数据格式。说白了，这是整个图像处理管线的“入口”。你传感器数据都拿不对，后面再牛的算法也是白搭。
我刚开始做ISP项目时，就吃过这个亏。当时调试一块MIPI接口的传感器，图像一直有条纹，折腾了两天才发现是帧同步信号没对齐。嗯，这种坑，我希望你们能提前避开。
传感器接口协议：MIPI与LVDS
目前主流的传感器接口就两种：MIPI和LVDS。你想想看，传感器采集到的原始数据量巨大，怎么高效、稳定地传给ISP芯片？这就是接口协议要解决的问题。
MIPI CSI-2 接口
MIPI CSI-2 是移动设备领域的事实标准。我个人的习惯是，只要功耗和引脚数敏感，优先考虑MIPI。
- 物理层：采用差分信号传输，一对差分线就是一个Lane。通常有1、2、4个Lane的配置。
- 协议层：支持多种数据类型，比如RAW8、RAW10、RAW12、YUV等。
- 工作模式：分为LP（低功耗）和HS（高速）两种模式。LP用于控制指令，HS用于传输图像数据。
关键参数：每个Lane的速率可以做到1Gbps甚至更高。4个Lane同时工作，带宽非常可观。
我的经验：MIPI的PCB布线要求很严格。等长、阻抗控制、串扰抑制，一个都不能少。我曾经因为一对差分线长了2mm，导致高速模式下误码率飙升。后来老老实实做了仿真才搞定。
LVDS 接口
LVDS（低压差分信号）是工业和高可靠性场景的老将。它比MIPI更皮实，抗干扰能力强，传输距离也更远。
- 特点：也是差分信号，但通常每个通道独立传输数据。
- 应用场景：工业相机、医疗影像、车载摄像头等。
- 缺点：引脚数多，功耗相对MIPI高一些。
注意：LVDS的时钟是随路传输的，必须保证时钟和数据之间的skew在允许范围内。我见过有人把时钟线绕了蛇形走线来匹配延时，结果适得其反——绕线引入了额外的寄生电容。
RAW Bayer格式详解
传感器输出的原始数据，绝大多数是RAW Bayer格式。为什么叫Bayer？因为每个像素只采集一种颜色分量，然后通过一个叫Bayer阵列的模式排列。
最常见的Bayer模式是RGGB。也就是说，每个2x2的像素块里，有1个红色、2个绿色、1个蓝色像素。人眼对绿色最敏感，所以绿色像素多了一倍。
| 像素位置 | 颜色 |
|---|---|
| (0,0) | R |
| (0,1) | G |
| (1,0) | G |
| (1,1) | B |
RAW数据的位宽也很关键。常见的有：
- RAW8：每个像素8bit，适合低端传感器。
- RAW10：每个像素10bit，中端主流。
- RAW12：每个像素12bit，高端传感器常用。
- RAW14/16：专业级，动态范围更大。
避坑指南：我曾经接手过一个项目，传感器输出RAW10，但ISP只支持RAW8。直接截断高位？不行，会丢失暗部细节。正确的做法是做量化映射，或者重新配置传感器输出RAW8模式。
数据流与帧同步机制
传感器不是一直往外扔数据的。它需要一套同步机制，告诉ISP：“我要开始传一帧了”、“这一行开始了”、“这一行结束了”。
常见的同步信号有：
- VSYNC（帧同步）：高电平表示一帧开始，低电平表示一帧结束。或者反过来，看具体配置。
- HSYNC（行同步）：高电平表示一行有效数据开始传输。
- PCLK（像素时钟）：每个时钟沿传输一个像素数据。
数据流的时序关系大致是这样的：
VSYNC ┌────────────────────────────────────┐
│ │
└────────────────────────────────────┘
HSYNC ┌──┐ ┌──┐ ┌──┐
│ │ │ │ │ │
└──┘ └──┘ └──┘
PCLK ┌┐┌┐┌┐┌┐┌┐┌┐┌┐┌┐
└┘└┘└┘└┘└┘└┘└┘└┘
DATA XXXX XXXX XXXX
你看，VSYNC拉高后，HSYNC开始产生脉冲，每个脉冲对应一行数据。PCLK负责把数据一个个送出来。
我的习惯：在FPGA里实现传感器接口时，我会先用一个状态机来捕获VSYNC和HSYNC的边沿。然后根据PCLK计数，判断当前是第几行、第几个像素。这样即使传感器时序有抖动，也能稳定接收。
核心知识体系
下面这张图，是我自己总结的本章知识脉络。你把它理解了，传感器接口这块就通了。
这张图把三个核心模块串起来了。左边是物理接口，中间是数据格式，右边是同步机制。下面是我总结的硬件设计关键点。你照着这个框架去理解，就不会乱。
再强调一次：传感器接口的调试，一定要用示波器抓波形。别光看寄存器。我曾经被一个传感器坑过，它文档里写的是VSYNC高有效，实际却是低有效。要不是抓了波形，我可能还在调代码。
好了，这一章的内容就这些。接口协议、RAW格式、同步机制，这三块是ISP硬件加速器设计的基石。你把它吃透了，后面讲Demosaic、去噪、色彩校正时，你才能理解数据是怎么一步步被“加工”成漂亮图像的。