RAW图与Bayer格式：图像传感器的“原始语言”
做ISP这行，天天跟RAW图打交道。说白了，RAW图就是传感器最原始的“底片”，还没经过任何加工。你想想看，相机拍下一张照片，从按下快门到存成JPEG，中间经历了多少道工序？而RAW图，就是这一切的起点。
我个人习惯把RAW图比作“数字负片”。它记录的是每个像素点感受到的光强度，但有个关键问题——传感器本身是色盲的。它只能感知光的强弱，分不清红绿蓝。那彩色照片是怎么来的？这就得靠Bayer Pattern了。
RAW图结构：一个像素一个坑
先看一张典型的RAW图长什么样。假设我们有个500万像素的传感器，它输出的RAW图就是500万个像素值，每个像素值代表该点接收到的光子数量。注意，这里每个像素只记录一种颜色信息——要么红，要么绿，要么蓝。
为什么会这样？因为传感器每个感光单元上面都覆盖了一层微小的滤色片。这层滤色片只允许特定波长的光通过。红色滤色片只让红光通过，绿色滤色片只让绿光通过，蓝色滤色片只让蓝光通过。这样一来，每个像素就只能“看到”一种颜色。
核心要点：RAW图不是彩色图像，而是一个单通道的灰度图。每个像素值代表的是该点对应颜色的亮度信息。你直接用看图软件打开RAW文件，看到的通常是一张灰蒙蒙的图片——这很正常。
我在项目中遇到过不少新手，第一次拿到RAW数据时以为它坏了。其实不是，RAW图本来就不该有鲜艳的色彩。它更像是一张“颜色编码”的灰度图，每个像素都带着一个“我是红色”或“我是绿色”的标签。
Bayer Pattern详解：为什么是RGGB？
Bayer Pattern是ISP领域最基础也最重要的概念之一。它由柯达公司的Bryce Bayer在1976年发明，一直沿用至今。这个模式的核心思想很简单：用更少的红色和蓝色像素，用更多的绿色像素。
为什么绿色像素多一倍？因为人眼对绿色最敏感。你想想看，自然界中大部分场景的亮度信息都集中在绿色通道。所以Bayer Pattern采用了2x2的单元结构：1个红、2个绿、1个蓝。这就是我们常说的RGGB。
用表格来看更清楚：
| 像素位置 | 颜色 | 占比 |
|---|---|---|
| (0,0) | 红色 (R) | 25% |
| (0,1) | 绿色 (G) | 50% |
| (1,0) | 绿色 (G) | 50% |
| (1,1) | 蓝色 (B) | 25% |
嗯，这里要注意：虽然绿色像素占了50%，但每个绿色像素只覆盖了它自己的位置。后续的Demosaic（去马赛克）算法会利用周围像素的信息，把缺失的颜色插值出来。
不同Bayer排列方式：不只是RGGB
说到Bayer排列，很多人以为只有RGGB这一种。其实不然。我做过几个不同传感器厂商的项目，发现各家都有自己的“小算盘”。
常见的Bayer排列方式有：
- RGGB：最经典的模式，第一行RGRG，第二行GBGB。大多数手机和相机都用这个。
- BGGR：第一行BGBG，第二行GRGR。索尼的一些传感器喜欢用这种。
- GRBG：第一行GRGR，第二行BGBG。三星的部分传感器采用这个。
- GBRG：第一行GBGB，第二行RGRG。比较少见，但某些工业相机在用。
你可能会问：排列方式不同，对图像质量有影响吗？说实话，理论上没有本质区别。但实际项目中，不同的排列方式会影响后续的ISP pipeline设计。比如Demosaic算法需要知道每个像素的准确颜色，如果搞错了Bayer排列，出来的图像颜色就全乱了。
避坑指南：我曾经在一个项目中，因为传感器数据手册写得不清楚，误把BGGR当成了RGGB来处理。结果调试了整整两天，图像颜色始终不对。最后用示波器抓了原始数据，一帧一帧地比对，才发现是Bayer排列搞反了。从那以后，我拿到新传感器第一件事就是验证Bayer Pattern。
Bayer Pattern的视觉化理解
光说可能不够直观，我画了一张图来展示Bayer Pattern的结构。这张图能帮你快速理解不同排列方式的差异。
实际项目中的Bayer处理
在嵌入式系统里处理RAW图，有几个关键点需要注意。我总结了一些实战经验：
- Bayer格式的读取顺序：传感器输出的数据通常是逐行扫描的。第一行可能是RGRG，第二行是GBGB。你得按这个顺序把数据存到内存里。
- 黑电平校正：RAW图每个像素都有一个暗电流噪声，需要减去一个固定的偏移值。这个值通常在传感器数据手册里能找到。
- 坏点处理：传感器总有那么几个坏像素。我习惯在Bayer域就做坏点校正，因为这时候数据还没被插值，坏点的影响范围最小。
小技巧：调试Bayer数据时，我建议先用一个简单的测试图——比如拍一张纯白纸。如果Bayer排列正确，经过Demosaic后应该得到均匀的白色。如果出现彩色条纹或网格，那八成是Bayer排列搞错了。
说到代码实现，这里给一个简单的Bayer数据读取示例。假设传感器输出的是10位RAW数据，每个像素占2个字节：
// 假设传感器输出RGGB格式
// 图像宽度为width，高度为height
uint16_t* raw_data = (uint16_t*)malloc(width * height * sizeof(uint16_t));
// 读取传感器数据
for (int y = 0; y < height; y++) {
for (int x = 0; x < width; x++) {
// 根据Bayer排列确定当前像素的颜色
if (y % 2 == 0) {
// 偶数行：R G R G ...
if (x % 2 == 0) {
// 红色像素
process_red_pixel(raw_data[y * width + x]);
} else {
// 绿色像素
process_green_pixel(raw_data[y * width + x]);
}
} else {
// 奇数行：G B G B ...
if (x % 2 == 0) {
// 绿色像素
process_green_pixel(raw_data[y * width + x]);
} else {
// 蓝色像素
process_blue_pixel(raw_data[y * width + x]);
}
}
}
}这段代码看起来简单，但实际项目中要考虑的东西多得多。比如内存对齐、DMA传输、缓存优化等等。我见过不少团队在Bayer数据读取阶段就踩了坑，导致后续的ISP算法再怎么优化也救不回来。
嗯，最后说一句：理解RAW图和Bayer格式，是ISP工程师的基本功。你把这个搞透了，后面的Demosaic、白平衡、颜色校正才能做得顺手。否则，就像盖房子地基没打好，上面再漂亮也没用。