第2章 Sensor与RAW图基础

第二讲：Sensor与RAW图基础

各位同学好，我是你们的ISP讲师。今天咱们聊聊整个ISP流水线的起点——Sensor和RAW图。说白了，没有Sensor，后面的一切都是空中楼阁。我当年刚入行时，总觉得RAW图就是一张普通的照片，后来踩了不少坑才明白，RAW图才是真正的“数字底片”。

CMOS Sensor，全称是互补金属氧化物半导体图像传感器。它的核心任务就一个：把光信号转成电信号。怎么转的呢？我简单给你拆解一下。

每个像素点其实就是一个光电二极管。光子打上去，产生电子-空穴对。电子被收集，形成电压。这个电压大小，就代表了光的强弱。嗯，听起来很简单对吧？但实际做起来，问题一堆。

核心流程：

我在项目中遇到过一个问题：Sensor在强光下拍出来的画面，高光区域一片惨白。后来排查发现，是电荷积累时间太长，势阱都溢出了。这就是所谓的“满阱容量”问题。你想想看，每个像素能装多少电子，是有上限的。装满了，再多光子也没用。

好了，现在每个像素都能感知光的强弱了。但问题来了——它只能感知亮度，分不清颜色。怎么办？

答案就是CFA（Color Filter Array，彩色滤光片阵列）。最经典的就是Bayer阵列。我习惯叫它“拜耳阵列”。

Bayer阵列的排布是这样的：

R G R G ...
G B G B ...
R G R G ...
G B G B ...

看到没？绿色像素占了50%，红色和蓝色各占25%。为什么绿色多？因为人眼对绿色最敏感。说白了，这是模仿人眼的视觉特性。我刚开始做ISP时，总觉得这设计有点浪费像素，后来才明白，这是成本、性能和画质之间的最佳平衡。

个人经验： 有些高端Sensor会采用RGBW阵列（红绿蓝白），或者RYYB阵列（红黄黄蓝）。这些变种都是为了在低光下提升进光量。但代价是颜色还原更难做。我曾经调过一款RYYB的Sensor，颜色矩阵调了整整两周才勉强过关。

Sensor输出的是什么？就是RAW图。RAW图不是一张“图片”，它是一堆原始数据。每个像素只记录一个颜色通道的值——要么R，要么G，要么B。所以RAW图看起来是灰蒙蒙的，别怀疑，这是正常的。

位深（Bit Depth）是个关键参数。常见的位深有：

位深越高，能记录的亮度细节就越多。但数据量也越大。我建议你记住一个原则：位深决定了动态范围的上限。10-bit的Sensor，理论上最多只能记录约60dB的动态范围。想拍大光比场景？至少得上12-bit。

避坑指南： 我曾经遇到过一款Sensor，标称12-bit，但实际有效位深只有10-bit。为什么？因为噪声太大，低几位全是噪声。所以看Sensor规格书时，别只看标称位深，还要看“有效位深”或“动态范围”。

这两个概念，我当年学的时候觉得很简单，但实际调ISP时才发现，坑全在这。

黑电平（Black Level）：理论上，没有光的时候，Sensor应该输出0。但实际不是。因为电路本身有偏置电压，即使完全遮光，也会输出一个非零值。这个值就是黑电平。一般Sensor会提供OB（Optical Black，光学黑）像素区域，用来实时检测黑电平。

暗电流（Dark Current）：即使没有光，像素也会因为热激发产生少量电子。曝光时间越长，暗电流积累越多。这就是为什么长曝光照片会有“热噪点”。

我习惯的处理方式是：

关键公式：

校正后像素值 = (原始像素值 - 黑电平) × 增益

注意：黑电平通常是针对每个通道单独计算的。R、G、B的黑电平可能不一样。

嗯，这里要注意：有些Sensor的黑电平会随温度变化。我做过一个项目，Sensor放在户外，白天和晚上的黑电平差了十几个LSB。如果不做温度补偿，画面偏色会很明显。

下面这张图，是我自己画的，帮你理清本章的核心逻辑：

这张图把本章的四个核心模块串起来了。从Sensor的工作原理出发，到Bayer阵列如何采集颜色，再到RAW图的数据格式，最后是黑电平校正这个关键预处理步骤。每一步都是ISP流水线不可或缺的一环。

好了，今天就聊到这儿。记住一句话：RAW图的质量，决定了ISP的天花板。后面所有算法——去马赛克、白平衡、降噪、锐化——都是在RAW图的基础上做文章。底子不好，后面再怎么调也白搭。