2、ISP Pipeline基础：Bayer RAW数据流、ISP模块拓扑（DPC/BLC/AWB/AE/AF）、硬件抽象层接口设计
好，咱们今天聊聊ISP Pipeline的基础。说实话，这部分内容我每次带新人时都会反复讲。为什么？因为它是整个Camera系统的骨架。你想想看，从Sensor出来的原始数据，到最终屏幕上那张漂亮的照片，中间经历了什么？就是这条ISP Pipeline。
2.1 Bayer RAW数据流——从光子到数字
先说说Bayer RAW。很多人一上来就盯着YUV或JPEG看，但我个人习惯，一定要先把RAW吃透。Sensor上的每个像素只能感知光的强度，分不清颜色。那怎么办？拜耳阵列（Bayer Pattern）就是解决方案——在每个像素上覆盖一个滤光片，只让红、绿或蓝光通过。
典型的Bayer格式是RGGB，也就是一个像素点周围有2个绿色、1个红色、1个蓝色。为什么绿色多一倍？因为人眼对绿色最敏感。这个设计很巧妙，对吧？
关键点：Bayer RAW数据是线性的，每个像素的数值直接对应光子的数量。这意味着它没有经过任何Gamma校正、白平衡、去马赛克等处理。说白了，它就是最原始的数字底片。
我在项目中遇到过一个问题：有同事直接把Bayer RAW当成YUV来处理，结果图像全是奇怪的条纹。嗯，这里要注意——Bayer RAW的排列顺序必须和Sensor的物理布局完全一致。常见的格式有：
- BGGR：第一行BGBG，第二行GRGR
- RGGB：第一行RGRG，第二行GBGB
- GRBG：第一行GRGR，第二行BGBG
- GBRG：第一行GBGB，第二行RGRG
数据流大致是这样的：
Sensor Pixel Array → 模拟前端(AFE) → ADC → Bayer RAW输出 → ISP输入你想想看，这个过程中任何一个环节的噪声都会被放大。所以后面ISP的第一个模块就是降噪和校正。
2.2 ISP模块拓扑——从DPC到AE/AF
ISP的模块拓扑，说白了就是一条流水线。每个模块干一件事，处理完交给下一个。我习惯把它分成三块：前端校正、色彩重建、后端增强。今天咱们重点说前端校正的几个核心模块。
2.2.1 DPC（Defect Pixel Correction）——坏点校正
Sensor生产过程中难免有坏点。坏点就是永远亮或永远暗的像素。如果不处理，照片上就会出现固定的亮点或暗点。
DPC的原理很简单：检测到坏点后，用周围像素的平均值替换它。但实现起来有讲究。我曾经踩过一个坑——把运动物体的边缘误判为坏点，结果图像边缘糊成一片。
我的经验：DPC算法要区分静态坏点和动态坏点。静态坏点可以通过标定提前记录，动态坏点则依赖实时检测。建议先做静态校正，再做动态校正，这样能减少误判。
常见的DPC流程：
- 读取当前像素值和周围8邻域像素值
- 计算邻域像素的均值和中值
- 如果当前像素与中值的差值超过阈值，则判定为坏点
- 用中值或均值替换坏点
2.2.2 BLC（Black Level Correction）——黑电平校正
BLC是很多人容易忽略的模块。Sensor在完全无光的情况下，输出并不是0，而是有一个固定的偏移量，这就是黑电平。如果不校正，暗部会发灰，而且会影响后续的白平衡计算。
我记得有一次调试，发现AWB怎么调都不准，最后查了半天，原来是BLC没做。黑电平偏移导致颜色矩阵计算全偏了。
BLC的做法很简单：从Bayer RAW中减去一个固定的黑电平值。这个值通常从Sensor的OB（Optical Black）区域读取。
校正后的像素值 = 原始像素值 - 黑电平值注意：黑电平值可能随温度和增益变化。我建议在驱动层做动态补偿，而不是用固定值。否则温度一高，暗部细节就全丢了。
2.2.3 AWB（Auto White Balance）——自动白平衡
AWB的目标是让白色物体在任何光源下都呈现白色。说白了，就是消除光源色温的影响。
AWB的核心是估计当前光源的色温，然后对R、G、B通道施加不同的增益。常见的算法有灰度世界法、完美反射法、色温曲线法。
我个人习惯用色温曲线法，因为它对复杂场景的适应性更好。但要注意——AWB不能只看全局，否则大面积单色物体会导致误判。比如一片蓝天，如果按灰度世界法算，会把蓝色当成偏色，结果把天空调成灰色。
| 算法 | 原理 | 适用场景 | 缺点 |
|---|---|---|---|
| 灰度世界法 | 假设场景平均色为灰色 | 色彩丰富的场景 | 大面积单色时失效 |
| 完美反射法 | 假设最亮点为白色 | 有高光区域的场景 | 无高光时失效 |
| 色温曲线法 | 根据R/G和B/G比值查表 | 大多数场景 | 需要标定色温曲线 |
2.2.4 AE（Auto Exposure）与AF（Auto Focus）
AE和AF虽然不直接处理Bayer数据，但它们和ISP Pipeline紧密耦合。AE控制曝光时间和增益，AF控制镜头位置。这两个模块的决策直接影响ISP的输入质量。
AE的目标是让图像亮度适中。我常用的策略是：先调整曝光时间，再调整模拟增益，最后调整数字增益。为什么？因为曝光时间增加会引入运动模糊，模拟增益增加会引入噪声，数字增益增加会放大量化误差。
AF则更复杂。对比度检测AF（CDAF）通过分析图像的高频分量来判断是否合焦。相位检测AF（PDAF）则依赖Sensor上的专用像素。现在很多平台都用混合AF——先用PDAF快速粗调，再用CDAF精确微调。
避坑指南：我曾经遇到过AE和AWB互相干扰的问题。AE调整增益后，图像亮度变了，AWB重新计算，然后AE又跟着变，形成振荡。解决方案是给AWB和AE设置不同的收敛速度，或者做帧间同步。
2.3 硬件抽象层接口设计——让驱动和ISP对话
好了，模块说完了，那驱动怎么和ISP通信？这就是HAL（硬件抽象层）接口要做的事。我设计接口时遵循一个原则：驱动只负责数据搬运和寄存器配置，ISP负责算法处理。两者通过明确定义的接口解耦。
典型的接口设计包括：
- 初始化接口：配置ISP的时钟、电源、数据格式
- 配置接口：设置各模块的参数（如DPC阈值、BLC偏移量、AWB增益）
- 数据接口：传递Bayer RAW数据和控制信号（如帧同步、行同步）
- 统计接口：ISP返回统计信息（如亮度直方图、色温估计值）
我举个例子，AWB的接口设计：
// 驱动层：读取ISP统计信息
struct awb_stats {
uint32_t r_sum; // R通道像素和
uint32_t g_sum; // G通道像素和
uint32_t b_sum; // B通道像素和
uint32_t pixel_count; // 统计像素数
};
// HAL层：设置AWB增益
struct awb_gain {
float r_gain;
float g_gain;
float b_gain;
};
// 接口函数
int hal_set_awb_gain(struct awb_gain *gain);
int hal_get_awb_stats(struct awb_stats *stats);你想想看，这样设计的好处是什么？驱动不用关心AWB算法怎么算，它只需要把统计信息上报，然后接收增益值写入寄存器。算法工程师可以独立优化AWB算法，不用动驱动代码。
我的建议：接口设计时一定要考虑扩展性。比如AWB增益，不要只支持全局增益，要预留区域增益的接口。因为现在很多平台都支持分区AWB，你一开始没留接口，后面改起来很痛苦。
嗯，今天就先聊到这里。ISP Pipeline的基础内容不少，但核心就是理解数据怎么流、每个模块干什么、驱动和算法怎么配合。下一章咱们会深入讲DPC和BLC的算法实现细节，到时候我会带一些实际调试的案例。