3、图像传感器接口：CMOS传感器工作原理、MIPI CSI-2协议、RAW数据格式解析、传感器配置与初始化

做仿生眼这么多年，我接触过各种各样的图像传感器。从最早的CCD到现在的CMOS，从几万像素到上亿像素，接口协议也换了好几代。但说实话，CMOS传感器 + MIPI CSI-2 这套组合，是目前仿生眼系统里最主流、也最实用的方案。

这一节，我们就来拆解一下这个接口层的核心内容。我会结合自己踩过的坑，把传感器怎么工作、数据怎么传、格式怎么解析、初始化怎么配，一次讲清楚。

3.1 CMOS传感器工作原理

CMOS传感器，说白了就是一个「光电转换器 + 读出电路」的集成芯片。每个像素点背后都有一个放大器，光线照上去，产生电荷，放大器把电荷转成电压，再通过ADC转成数字信号。

我个人习惯把CMOS的工作流程分成三步：

1. 曝光（Integration）：感光二极管收集光子，产生光生电荷
2. 读出（Readout）：行选通信号打开，电荷通过列总线传输到ADC
3. 数字化（Digitization）：模拟电压被量化成数字值，输出RAW数据

这里有个关键点——卷帘快门（Rolling Shutter）。CMOS传感器不像CCD那样全局同时曝光，而是逐行扫描。每一行先复位，然后等待曝光时间，再读出。你想想看，如果拍摄快速运动的物体，画面就会出现「果冻效应」。我在做无人机仿生眼项目时，就因为这个吃了大亏，后来换了全局快门传感器才解决。

3.2 MIPI CSI-2协议

MIPI CSI-2，全称是Camera Serial Interface 2。它是目前移动设备和嵌入式视觉系统里最主流的摄像头接口协议。为什么大家都用MIPI？说白了就两个原因：高速和低功耗。

MIPI CSI-2的物理层用的是差分信号对（D-PHY），一对差分线可以跑到1Gbps以上。仿生眼系统里，我们通常用2-4条数据通道（Lane），配合一条时钟通道。举个例子，一个200万像素、30fps的传感器，用2条Lane就绰绰有余了。

协议层的数据流是这样的：

• 帧起始（FS, Frame Start）：一帧图像开始的标志
• 行数据（Line Data）：每行像素的RAW数据，按顺序传输
• 帧结束（FE, Frame End）：一帧图像结束的标志

嗯，这里要注意——MIPI CSI-2支持多种数据类型，比如RAW8、RAW10、RAW12、YUV422、JPEG等。仿生眼系统里，我们几乎只用RAW格式，因为后期处理需要原始数据，不能有压缩损失。

3.3 RAW数据格式解析

RAW数据，就是传感器ADC直接输出的原始像素值。没有经过任何处理——没有白平衡、没有去马赛克、没有伽马校正。说白了，它就是最「诚实」的数据。

常见的RAW格式有：

• RAW8：每个像素8位，0-255范围
• RAW10：每个像素10位，0-1023范围
• RAW12：每个像素12位，0-4095范围
• RAW14/RAW16：更高位深，用于专业领域

仿生眼系统里，我建议用RAW10或RAW12。为什么？因为人眼对亮度的分辨能力大约在10-12位，再高就浪费带宽了。当然，如果你做的是科学级成像，那另当别论。

RAW数据的排列方式取决于传感器的Bayer模式。最常见的Bayer模式是RGGB，也就是第一行是R、G、R、G...，第二行是G、B、G、B...。解析时，我们需要按照这个模式把像素值还原成彩色图像。

// 一个简单的RAW10数据解析示例
// 假设传感器输出的是RAW10格式，每个像素10位
// 数据以5字节存储4个像素（5*8=40位，4*10=40位）

uint8_t raw_buffer[5];  // 从MIPI接口读取的5字节数据
uint16_t pixels[4];     // 解析出的4个像素值

// 解析逻辑
pixels[0] = (raw_buffer[0] << 2) | (raw_buffer[1] >> 6);
pixels[1] = ((raw_buffer[1] & 0x3F) << 4) | (raw_buffer[2] >> 4);
pixels[2] = ((raw_buffer[2] & 0x0F) << 6) | (raw_buffer[3] >> 2);
pixels[3] = ((raw_buffer[3] & 0x03) << 8) | raw_buffer[4];

3.4 传感器配置与初始化

传感器的初始化，是通过I2C或SPI总线来配置内部寄存器的。每个传感器都有自己的寄存器映射表，我们需要按照数据手册的说明，写入正确的值。

典型的初始化流程是这样的：

1. 上电复位：给传感器供电，等待电源稳定（通常需要1-10ms）
2. 硬件复位：拉低复位引脚，再释放（至少需要1ms）
3. PLL配置：设置时钟分频和倍频，生成内部工作时钟
4. 分辨率设置：配置输出图像的行数和列数
5. 帧率设置：通过调整行消隐和帧消隐来控制帧率
6. 增益和曝光：设置模拟增益、数字增益和曝光时间
7. 输出格式：选择RAW8/RAW10/RAW12等输出格式
8. 启动输出：使能MIPI接口，开始输出图像数据

我习惯把初始化代码封装成一个结构体，方便管理和调试：

// 传感器寄存器配置结构体
typedef struct {
    uint16_t reg_addr;  // 寄存器地址
    uint16_t reg_val;   // 寄存器值
} sensor_reg_cfg_t;

// 初始化配置表
const sensor_reg_cfg_t sensor_init_table[] = {
    {0x0103, 0x01},  // 软件复位
    {0x0100, 0x00},  // 进入待机模式
    {0x0305, 0x04},  // PLL分频系数
    {0x0307, 0x1E},  // PLL倍频系数
    {0x0340, 0x04},  // 帧高度（高8位）
    {0x0341, 0x38},  // 帧高度（低8位）
    {0x0342, 0x05},  // 行长度（高8位）
    {0x0343, 0xDC},  // 行长度（低8位）
    {0x0202, 0x00},  // 曝光时间（高8位）
    {0x0203, 0x64},  // 曝光时间（低8位）
    {0x0204, 0x01},  // 模拟增益
    {0x0100, 0x01},  // 启动输出
};

3.5 核心知识体系

为了让你更直观地理解这一章的内容，我画了一张流程图，把CMOS传感器到MIPI接口再到RAW数据解析的整个链路串起来。

这张图把整个链路分成了四个阶段：传感器采集 → MIPI传输 → RAW解析 → ISP处理。下面还列出了传感器配置的完整流程和关键参数。你可以把它当作一个快速参考图，做项目时对照着看。

好了，这一节的内容就到这里。CMOS传感器的工作原理、MIPI CSI-2协议、RAW数据格式、传感器初始化，这四个知识点是仿生眼图像处理流水线的基石。搞懂了它们，后面的ISP处理、算法加速才能站得住脚。

---

公众号:蓝海资料掘金营，微信deep3321