第4章：ISP Pipeline全景：从RAW到YUV的奇幻漂流
各位同学，欢迎来到ISP Pipeline的全景课堂。说实话，每次我给新人讲ISP流程，都会先问一个问题：你知不知道摄像头拍到的RAW图，到底长什么样？
很多人以为拍出来就是漂亮的照片。错了。RAW图其实是一堆灰蒙蒙的、带点偏色的数据。我当年第一次看到RAW图时，心里咯噔一下——这玩意儿能变成我们看到的彩色图像？
嗯，今天我们就来聊聊，ISP是怎么把这堆“废料”变成“宝贝”的。
4.1 ISP Pipeline的整体流程
ISP的全称是Image Signal Processor，图像信号处理器。它的任务很简单：把传感器输出的RAW数据，处理成人眼看着舒服的YUV或RGB图像。
整个流程，我习惯把它分成三个阶段：
- 前端处理：从RAW到去马赛克前的预处理
- 中端处理：去马赛克、白平衡、颜色校正等核心算法
- 后端处理：Gamma校正、锐化、降噪、色彩增强等
你想想看，这就像做一道菜。前端是洗菜切菜，中端是下锅炒，后端是调味装盘。缺一步都不行。
核心要点：ISP Pipeline的输入是Bayer格式的RAW数据，输出是YUV或RGB格式的最终图像。中间经过十几个模块的串行或并行处理。
4.2 各模块功能简介
下面我按实际处理顺序，把每个模块的功能说清楚。注意，不同厂商的ISP顺序可能略有差异，但核心逻辑是一样的。
4.2.1 黑电平校正（BLC）
传感器在没有光照时，理论上输出应该是0。但实际会有暗电流，导致输出不为0。BLC就是把这个偏移量减掉。
我在项目中遇到过一个问题：某款传感器在高温下暗电流特别大，BLC参数没调好，导致暗部偏绿。后来我加了个温度补偿表，才搞定。
4.2.2 镜头阴影校正（LSC）
镜头中心光线入射角小，边缘入射角大，导致边缘亮度下降。LSC就是给边缘像素乘一个增益系数。
说白了，就是让画面四角亮起来。但增益不能太大，否则噪声也会被放大。
4.2.3 坏点校正（DPC）
传感器总有那么几个像素是坏的——要么一直亮，要么一直暗。DPC模块会检测并替换这些坏点。
小技巧：我建议在产线标定时，生成一张坏点地图。运行时直接查表替换，比实时检测更稳定。
4.2.4 去马赛克（Demosaic）
这是ISP里最核心的模块之一。Bayer格式每个像素只有一种颜色（R、G、B之一），去马赛克就是通过插值算法，给每个像素补全另外两种颜色。
为什么重要？因为去马赛克的质量直接决定了图像的清晰度和伪彩程度。我见过一些低端方案，去马赛克做得不好，边缘全是锯齿和彩色条纹。
4.2.5 白平衡（AWB）
人眼有色彩恒常性，但传感器没有。AWB就是让白色物体在不同光源下都呈现白色。
我曾经调试一个车载项目，在隧道里灯光是暖色的，AWB没跟上，画面一片黄。后来我把AWB的收敛速度调快了些，才解决。
4.2.6 颜色校正矩阵（CCM）
传感器的色彩响应和人眼不同，CCM通过一个3x3矩阵，把传感器色彩空间映射到标准色彩空间。
这里有个坑：CCM矩阵的系数不能太大，否则会放大噪声。我一般会把CCM的增益控制在1.5倍以内。
4.2.7 Gamma校正
人眼对暗部变化更敏感，对亮部变化不敏感。Gamma校正就是做这个非线性映射，让图像更符合人眼视觉特性。
标准Gamma值是2.2。但车载场景我建议用2.0或1.8，因为暗部细节更重要。
4.2.8 锐化与降噪
这两个模块是冤家。降噪会损失细节，锐化会放大噪声。怎么平衡？
我的经验是：先降噪，后锐化。降噪时保留边缘，锐化时控制幅度。
4.2.9 色彩增强与饱和度控制
最后一步，让颜色更鲜艳或更自然。车载场景我建议饱和度不要太高，否则在屏幕上看着假。
4.3 硬件ISP与软件ISP的差异
这个问题，我经常被问到。简单说：硬件ISP是专用芯片，软件ISP是通用处理器上跑的算法。
| 对比项 | 硬件ISP | 软件ISP |
|---|---|---|
| 处理速度 | 快，实时处理4K@60fps没问题 | 慢，取决于CPU/GPU性能 |
| 功耗 | 低，几瓦到十几瓦 | 高，几十瓦到上百瓦 |
| 灵活性 | 差，参数可调但算法固定 | 好，算法可随时更新 |
| 成本 | 高，需要专用芯片 | 低，复用现有处理器 |
| 调试难度 | 中等，寄存器配置复杂 | 较高，需要优化算法效率 |
我个人的建议是：车载前装摄像头，必须用硬件ISP。为什么？因为车规级要求实时性、低功耗、高可靠性。软件ISP在高温下可能降频，导致画面卡顿，这在行车中是致命的。
但后装市场或开发阶段，软件ISP有它的优势。我记得有一次客户要求快速验证一个新算法，硬件ISP要流片等半年，软件ISP一周就搞定了。
注意：不要以为软件ISP可以完全替代硬件ISP。在车载领域，ASIL-B或ASIL-D的功能安全等级要求，硬件ISP更容易满足。软件ISP的故障诊断和冗余设计更复杂。
4.4 我的实战经验总结
做了这么多年ISP调优，我总结了几条铁律：
- 先搞定前端，再调后端。BLC、LSC这些基础模块没调好，后面再怎么调也是白费。
- 噪声和细节是永恒的矛盾。没有完美的ISP，只有适合场景的ISP。车载场景，我宁愿保留一点噪声，也不能丢失边缘细节。
- 调试时一定要看RAW图。很多问题在RAW阶段就能发现，别等到YUV了才回头找原因。
- 温度、光照、运动状态都要测。ISP参数在实验室调得再好，上车跑一圈可能全废。
最后说一句：ISP调优不是一蹴而就的事。我见过最夸张的项目，光AWB就调了三个月。但当你看到那灰蒙蒙的RAW图，经过你的调试变成清晰鲜艳的画面时，那种成就感，嗯，值得。
下一章，我们会深入讲解Bayer格式和RAW数据的预处理，到时候带你们看看RAW图到底长什么样。