第三章 去马赛克（Demosaic）：从Bayer到全彩
各位同学，今天我们来聊聊ISP管线里一个特别有意思的环节——去马赛克。说白了，就是把传感器拍到的黑白马赛克图像，变成我们肉眼看到的彩色照片。
我记得刚入行那会儿，第一次看到Bayer原始数据时，整个人都懵了。怎么全是灰蒙蒙的格子？后来才明白，这就是数字成像的起点。
3.1 Bayer阵列原理
先说说Bayer阵列是什么。CMOS传感器每个像素只能感知光的强度，分不清颜色。那怎么办？工程师们想了个办法：在每个像素上覆盖一个彩色滤光片。
最常见的Bayer模式是RGGB，也就是一个红色、两个绿色、一个蓝色。为什么绿色有两个？因为人眼对绿色最敏感。你想想看，自然界里绿色植物、树叶那么多，多采样绿色能提升视觉分辨率。
Bayer阵列的典型排列：
R G R G ...
G B G B ...
R G R G ...
G B G B ...每个像素只记录一种颜色分量，另外两种颜色需要靠插值算出来。
我在项目中遇到过一个问题：有些客户拿到的Bayer数据是BGGR排列，不是标准的RGGB。如果代码里写死了RGGB，出来的图像颜色就全乱了。所以，第一步一定要确认Bayer的排列顺序。
3.2 经典插值算法
去马赛克的核心任务，就是给每个像素补全缺失的两种颜色。最简单的办法是什么？直接拿相邻像素的值来算。
3.2.1 最近邻插值
这个方法最粗暴。比如一个红色像素，它缺绿色和蓝色。那就直接复制旁边最近的绿色和蓝色像素的值。速度快，但效果嘛……你懂的，锯齿感特别强。
注意：最近邻插值基本没人用了。除非你是在做实时预览，对画质没要求。
3.2.2 双线性插值
这个方法稍微聪明一点。取周围四个方向上的同色像素，求个平均值。比如红色像素的绿色分量，就用上下左右四个绿色像素的平均值。
// 双线性插值示例（伪代码）
G_at_R = (G_left + G_right + G_up + G_down) / 4效果比最近邻好不少，但边缘还是会有伪彩色。为什么？因为它在边缘处把不同方向的颜色混在一起了。
3.2.3 边缘导向插值
这个算法我特别喜欢。它先判断当前像素是在水平边缘还是垂直边缘，然后只沿着边缘方向插值。
举个例子：如果检测到水平方向颜色变化小，垂直方向变化大，那就只用水平方向的像素来插值。这样能有效减少伪彩色。
我的经验：边缘导向插值在低噪声场景下效果很好。但如果噪声大，边缘检测容易出错，反而会引入新的伪影。
3.3 高通自适应去马赛克技术
高通的方案，说白了就是「看菜下饭」。它不像传统算法那样一刀切，而是根据图像局部特征动态调整插值策略。
3.3.1 自适应权重计算
高通的做法是：先计算每个方向上的梯度，然后根据梯度大小分配权重。梯度小的方向，权重就大；梯度大的方向，权重就小。
// 高通自适应去马赛克核心思路
weight_h = 1 / (gradient_h + epsilon)
weight_v = 1 / (gradient_v + epsilon)
G = (weight_h * G_h + weight_v * G_v) / (weight_h + weight_v)这里的epsilon是个小常数，防止除零。我习惯设成0.01，太小了容易不稳定，太大了又失去自适应效果。
3.3.2 色差域插值
高通还有一个绝招：在色差域做插值。什么意思呢？它不直接插值绿色，而是先算出色差（比如R-G），然后对色差做插值，最后再反算出绿色。
为什么要这么做？因为色差在图像局部区域变化很平缓，插值误差更小。我在调试夜景模式时，用色差域插值明显减少了彩色噪点。
高通自适应去马赛克的优势：
- 边缘更锐利，伪彩色更少
- 对噪声鲁棒性好
- 计算量适中，适合移动平台
3.3.3 后处理去伪影
即使算法再好，也难免有残留的伪彩色。高通会在去马赛克之后加一个后处理步骤，专门清理这些伪影。
具体做法是：检测每个像素的色度是否异常。如果某个像素的色度跟周围差异太大，就把它拉回来。我曾经在调试一个红色花朵的场景时，发现花瓣边缘总有紫色条纹。后来调整了后处理的阈值，问题就解决了。
避坑指南：后处理强度不能太大，否则会抹掉真实的颜色细节。我一般把强度控制在5%以内。
3.4 实际项目中的选择建议
说了这么多，到底该用哪种算法？我给大家一个参考：
| 场景 | 推荐算法 | 原因 |
|---|---|---|
| 实时预览（30fps以上） | 双线性插值 | 速度快，功耗低 |
| 高画质拍照 | 高通自适应 | 细节保留好，伪影少 |
| 视频录制 | 边缘导向插值 | 平衡画质和性能 |
| 低光照环境 | 色差域插值 | 噪声抑制能力强 |
嗯，去马赛克这部分就讲到这里。下一章我们会聊白平衡，那可是决定照片色调的关键环节。各位同学，有什么问题可以随时交流。
课后思考：如果Bayer阵列改成RBBB，也就是三个蓝色一个红色，你觉得会有什么问题？欢迎在评论区讨论。