4. 图像预处理流水线：ISP管线详解

各位同学，大家好。这一章我们聊聊图像预处理，也就是ISP（Image Signal Processor）管线。说实话，很多做ADAS的工程师，一开始都容易忽略这部分，觉得“不就是调个图像嘛”。但我在实际项目中吃过亏，后来才明白——ISP调不好，后面的算法全是白搭。

你想想看，摄像头传感器拿到的原始数据，其实就是一堆Bayer格式的RAW图。这玩意儿人眼根本没法看，必须经过一系列处理，才能变成我们熟悉的彩色图像。这个处理链条，就是ISP管线。

4.1 Bayer格式与去马赛克

先说Bayer格式。说白了，每个像素点只记录一种颜色——红、绿、蓝中的一种。为什么？因为传感器就这么设计的，每个感光单元只能感知亮度，颜色靠滤光片来区分。典型的Bayer模式是RGGB，也就是一个红色、两个绿色、一个蓝色排成2x2的方块。

那怎么变成全彩图呢？这就得靠去马赛克（Demosaicing）算法。它根据周围像素的颜色信息，把缺失的另外两个颜色值给“猜”出来。常见的算法有双线性插值、边缘导向插值等。

重要提示：去马赛克的质量直接影响图像分辨率。我在项目中遇到过，如果算法选得太简单，图像边缘会出现明显的锯齿和伪色。尤其是ADAS场景里，车道线边缘的伪色，会直接导致车道线检测出错。

我个人习惯，在NXP平台上，如果算力允许，尽量用边缘导向的插值算法。虽然计算量大一点，但效果确实好。

4.2 白平衡与Gamma校正

白平衡，说白了就是让白色物体在任何光源下都看起来是白的。比如在阴天、白炽灯下，图像会偏蓝或偏黄。白平衡算法会计算一个增益系数，分别对R、G、B通道做调整。

我曾经在隧道出口的场景里吃过亏。车辆从暗处突然到亮处，白平衡一下子没跟上，图像瞬间偏色严重。后来我加了一个自适应白平衡的策略，根据场景亮度变化动态调整增益，才解决了这个问题。

Gamma校正呢？它解决的是人眼对亮度感知的非线性问题。人眼对暗部细节更敏感，对亮部不敏感。所以Gamma校正会把暗部拉亮，亮部压缩，让图像看起来更自然。标准Gamma值一般是2.2。

我的小技巧：在ADAS场景里，Gamma值可以适当调低一点，比如1.8。这样暗部细节更丰富，对夜间行人检测有帮助。但别调太低，否则图像会发白，丢失对比度。

4.3 NXP ISP硬件加速器配置

NXP的芯片里，ISP硬件加速器是个好东西。它专门处理这些图像预处理任务，不占用CPU资源。我刚开始用的时候，也踩过坑——配置寄存器时，一个参数写错了，整个图像输出都是花的。

配置ISP加速器，主要涉及以下几个步骤：

  1. 初始化传感器接口：配置CSI（摄像头串行接口）的时钟、数据格式。
  2. 设置Bayer格式：告诉ISP你的传感器是RGGB还是其他模式。
  3. 配置去马赛克参数：选择算法类型、边缘阈值等。
  4. 设置白平衡增益：手动或自动模式，设定R/G/B增益系数。
  5. 配置Gamma校正表：可以自定义Gamma曲线，或者用标准曲线。

下面是一个简化的配置代码示例，基于NXP的SDK：

// 初始化ISP硬件
isp_handle_t isp;
isp_config_t config;

// 设置Bayer格式为RGGB
config.bayer_pattern = ISP_BAYER_RGGB;

// 选择去马赛克算法
config.demosaic_alg = ISP_DEMOSAIC_EDGE_DIRECTED;

// 设置白平衡增益
config.wb_gain.r = 1.2;
config.wb_gain.g = 1.0;
config.wb_gain.b = 1.5;

// 加载Gamma校正表
uint16_t gamma_table[256];
for (int i = 0; i < 256; i++) {
    gamma_table[i] = (uint16_t)(pow(i / 255.0, 1.8) * 255);
}
config.gamma_table = gamma_table;

// 应用配置
ISP_Init(&isp, &config);
ISP_Start(&isp);

注意：配置Gamma表时，一定要确保表的大小和位宽匹配。我曾经因为表大小写错了，导致图像输出全是黑的，排查了半天才发现是数组越界了。

4.4 OpenCV基础图像处理

有时候，硬件ISP处理完的图像，我们还需要用OpenCV做二次处理。比如调整对比度、做直方图均衡化、或者转成灰度图给深度学习模型用。

OpenCV里常用的几个函数，我列一下：

  • cv::cvtColor()：颜色空间转换，比如BGR转灰度。
  • cv::equalizeHist()：直方图均衡化，增强对比度。
  • cv::GaussianBlur()：高斯滤波，去噪。
  • cv::resize()：图像缩放，调整到模型输入尺寸。

举个例子，把ISP输出的图像做直方图均衡化，再转灰度：

cv::Mat img_isp;  // 假设这是ISP输出的彩色图
cv::Mat img_gray, img_eq;

// 转灰度
cv::cvtColor(img_isp, img_gray, cv::COLOR_BGR2GRAY);

// 直方图均衡化
cv::equalizeHist(img_gray, img_eq);

// 显示结果
cv::imshow("Equalized Image", img_eq);

嗯，这里要注意一点。OpenCV默认的图像格式是BGR，不是RGB。很多新手在这里搞混，导致颜色显示不对。我建议在代码里显式地标注一下，避免踩坑。

4.5 实战中的流水线整合

在实际的ADAS系统里，ISP管线和OpenCV处理是串在一起的。大致流程是：

  1. 传感器输出Bayer RAW图。
  2. NXP ISP硬件加速器做去马赛克、白平衡、Gamma校正。
  3. 输出YUV或RGB图像。
  4. OpenCV做二次处理（缩放、滤波、颜色转换等）。
  5. 送入深度学习模型或传统算法模块。

我个人习惯，在调试阶段，会把每一步的输出都保存下来，看看效果。比如保存Bayer图、去马赛克后的图、白平衡后的图。这样一旦最终结果不对，能快速定位是哪个环节出了问题。

核心总结：ISP管线是ADAS感知系统的“地基”。地基不稳，上层算法再牛也没用。我建议大家在项目初期，就花时间把ISP参数调好，尤其是白平衡和Gamma。别等到算法跑起来才发现图像质量不行，那时候再回头调ISP，代价就大了。

好了，这一章就到这里。下一章我们聊聊目标检测算法在NXP上的部署，会涉及到模型量化和推理加速，敬请期待。

公众号:蓝海资料掘金营，微信deep3321

← 上一章 📖 返回目录 下一章 →