一、ISP基础概念：什么是ISP、ISP在成像系统中的位置、ISP Pipeline概述
1.1 什么是ISP？说白了就是“让照片能看”的幕后英雄
ISP，全称Image Signal Processor，图像信号处理器。你想想看，手机摄像头拍到的原始数据，其实是一堆乱七八糟的电压信号，根本不能直接看。ISP干的事，就是把CMOS传感器送来的“生肉”数据，加工成一张你能在屏幕上欣赏的照片。
我个人习惯把ISP比作一个“暗房师傅”。传感器是底片，ISP就是那个在暗房里调配药水、控制曝光、调整色彩的人。没有他，底片再好也出不了好片子。
核心定义：ISP是一个专门处理图像数据的硬件模块或软件算法库，负责将RAW格式的原始图像数据，转换为符合人眼视觉感受的、可显示的RGB或YUV图像。
我在项目中遇到过不少刚入行的工程师，以为ISP就是“调调亮度、改改颜色”。其实远没那么简单。ISP要处理噪声、校正镜头缺陷、恢复细节、管理色彩空间……它是一个系统工程。
1.2 ISP在成像系统中的位置——它卡在传感器和显示器之间
一个完整的成像系统，从光到图，大致走这么几步：
- 镜头（Lens）：把光线汇聚到传感器上
- 传感器（Sensor）：把光信号转成电信号，输出RAW数据
- ISP：把RAW数据加工成可显示的图像
- 编码器/显示器：压缩存储或直接显示
ISP的位置，就在传感器之后、显示或编码之前。它是整个链条里最“烧脑”的一环。
我的经验：很多系统性能瓶颈不在传感器，而在ISP。传感器能拍出很好的RAW，但ISP处理不好，出来的图照样一塌糊涂。反过来，传感器一般，ISP算法给力，也能出不错的片子。这就是为什么同样一颗IMX586，不同手机拍出来效果天差地别。
为什么会这样？因为ISP里塞满了各种“黑科技”算法。你想想看，传感器输出的RAW数据，每个像素只有一种颜色（R/G/B之一），ISP得通过插值猜出每个像素的完整RGB值。这中间有多少坑？嗯，后面我们会细讲。
1.3 ISP Pipeline概述——一条流水线上的“十八般武艺”
ISP不是单个算法，而是一整套处理流程，我们叫它Pipeline（流水线）。每个模块负责一道工序，前一个模块的输出是后一个模块的输入。
我画了一张图，帮你快速理解ISP Pipeline的整体结构：
这张图里，我列出了ISP Pipeline中最核心的几个模块。注意，这只是“典型”流程，不同芯片厂商（高通、联发科、海思、安霸）的排列组合和模块名称可能不一样，但核心逻辑大同小异。
1.4 各模块是干什么的？——快速扫盲
我挑几个关键模块，简单说说它们的作用。后面章节会逐个深入。
| 模块 | 英文缩写 | 一句话说明 | 我的经验 |
|---|---|---|---|
| 黑电平校正 | BLC | 去掉传感器暗电流带来的固定偏置 | 很多人忽略这步，结果暗部偏色严重 |
| 去噪 | NR | 降低传感器和电路引入的随机噪声 | 去噪太强会丢细节，这是个平衡艺术 |
| 去马赛克 | Demosaic | 从Bayer阵列插值出完整RGB图像 | 插值算法好坏直接影响边缘锯齿和伪色 |
| 白平衡 | AWB | 让白色物体在不同光源下看起来都是白的 | 复杂光源下AWB经常翻车，需要tuning |
| 色彩校正 | CCM | 把传感器色彩空间映射到标准色彩空间 | CCM矩阵调不好，肤色会发绿或发紫 |
| Gamma校正 | Gamma | 调整图像亮度响应曲线，适配显示设备 | Gamma曲线决定了图像的“通透感” |
| 锐化 | Sharp | 增强图像边缘对比度，让画面更清晰 | 锐化过度会产生光晕，看着很不自然 |
避坑指南：我曾经在一个项目中，为了追求低噪声，把去噪强度拉得很高。结果图像是干净了，但边缘细节全糊了，客户一看就说“这照片像油画”。后来我才明白，ISP的每个模块都是“牵一发而动全身”，调参时一定要全局考虑。
1.5 ISP Pipeline的两种形态：硬件ISP vs 软件ISP
你可能会问：ISP是硬件还是软件？答案是：都有。
- 硬件ISP：集成在SoC里，用专用电路流水线处理。速度快、功耗低，但灵活性差。手机、相机里基本都是硬件ISP。
- 软件ISP：在CPU/GPU/DSP上跑算法。灵活、可升级，但功耗高、速度慢。早期手机和某些安防摄像头会用。
我个人更倾向于硬件ISP，因为实时性有保障。但软件ISP在算法迭代上有优势——你想想看，硬件ISP一旦流片，算法就焊死了，想改都改不了。软件ISP可以OTA升级，今天调个参数，明天就能推送到用户手机上。
一个小技巧：评估一个ISP的好坏，不要只看它的峰值信噪比（PSNR）指标。我更建议你拿同一张RAW图，在不同ISP上跑一遍，然后盲测对比。人眼才是最终的裁判。
1.6 本章小结
好了，这一章我们聊了ISP是什么、它卡在成像系统的哪个位置、以及Pipeline里都有哪些模块。说白了，ISP就是一条“图像加工流水线”，每个模块负责一道工序，最终产出让你满意的照片。
下一章，我们会深入Pipeline的第一个环节——黑电平校正。别小看它，很多图像质量问题的根因，就出在这个看似简单的步骤上。
公众号:蓝海资料掘金营，微信deep3321