一、ISP概述与行业背景
1.1 什么是ISP？
ISP，全称Image Signal Processor，中文叫图像信号处理器。
说白了，它就是一颗专门处理图像数据的芯片或IP核。你想想看，CMOS传感器拍出来的原始数据，其实是一堆乱七八糟的电压值，根本不能直接看。ISP的任务，就是把这些「生肉」数据，加工成我们肉眼看着舒服的图像。
我刚开始接触ISP时，总觉得它就是个滤镜。后来踩了坑才明白——ISP是成像系统的灵魂。没有它，再好的传感器也拍不出好照片。
核心定义：ISP负责将RAW域数据（拜耳阵列）经过一系列算法处理，最终输出YUV或RGB格式的、人眼可接受的图像。
1.2 ISP在成像系统中的位置
整个成像链路，我习惯分成三段：
- 前端：镜头 + 传感器（CMOS/CCD）
- 中端：ISP（核心处理单元）
- 后端：编码器 + 显示/存储设备
传感器输出的RAW数据，直接喂给ISP。ISP处理完后，再交给后端做压缩或显示。嗯，这里要注意——ISP的输入永远是RAW格式，这是行业铁律。
我曾经在一个项目中，后端同事非要直接拿RAW去显示，结果画面绿油油一片。为什么？因为RAW数据没有经过白平衡和去马赛克，根本没法看。
个人经验：判断一个系统有没有ISP，最简单的方法就是看它能不能直接输出JPEG。能输出JPEG的，内部一定有ISP。
1.3 主流ISP架构概览
不同应用场景，ISP的架构差异很大。我按移动端、安防端、车载端三个方向来讲。
1.3.1 移动端ISP
手机ISP，特点是面积小、功耗低、集成度高。现在主流方案有两种：
- 集成式：ISP集成在SoC中，比如高通骁龙、联发科天玑。优点是成本低，缺点是算力受限。
- 独立式：外挂一颗ISP芯片，比如早期的一些专业影像手机。优点是画质好，缺点是占面积、费电。
我个人更看好集成式。为什么？因为手机内部寸土寸金，多一颗芯片就意味着多一份成本。而且现在SoC里的ISP算力越来越强，独立ISP的空间在缩小。
1.3.2 安防端ISP
安防摄像头，对ISP的要求是全天候、低照度、宽动态。
安防ISP有几个典型特征：
- 3D降噪：这是安防的刚需。晚上监控画面噪点满天飞，没有好的降噪算法根本没法用。
- 宽动态（WDR）：逆光场景下，既要看清亮部，又要看清暗部。我做过一个项目，客户要求120dB的宽动态，调了整整两个月才搞定。
- 多路并发：一个ISP芯片要同时处理4路、8路甚至16路视频流。这对带宽和调度要求极高。
避坑指南：我曾经在安防项目中，选了一颗移动端的ISP芯片去做摄像头。结果晚上噪点压不住，客户直接退货。记住——安防和移动端的ISP设计思路完全不同，千万别混用。
1.3.3 车载端ISP
车载ISP，这几年最火的方向。它的核心要求是高可靠、低延迟、功能安全。
车载ISP和安防ISP有点像，但有几个关键区别：
| 特性 | 安防ISP | 车载ISP |
|---|---|---|
| 延迟要求 | 100ms以内 | 30ms以内 |
| 功能安全 | 无强制要求 | 必须符合ISO 26262 |
| 动态范围 | 120dB左右 | 140dB以上 |
| LED闪烁抑制 | 可选 | 必须支持 |
车载ISP最头疼的问题是什么？LED闪烁抑制。你想想看，摄像头拍到的交通信号灯，如果因为帧率和LED刷新率不匹配，导致灯在画面里一闪一闪的，那自动驾驶系统怎么判断红绿灯？
我去年参与的一个车载项目，光LED闪烁抑制这个模块，就迭代了三个版本。最后发现，单纯靠算法不行，必须传感器和ISP联动才能彻底解决。
1.4 ISP核心处理流程（SVG框架图）
下面这张图，是我自己画的ISP标准处理流水线。每个模块都有它的作用，缺一不可。
这张图展示的是最基础的ISP流水线。实际项目中，模块顺序可能会调整。比如有些方案会把降噪放在去马赛克之前，有些放在之后。没有绝对的对错，看具体场景。
我的建议：初学者先把这个基础流水线吃透。别一上来就研究那些花里胡哨的增强算法。BLC、Demosaic、AWB、CCM这四个模块，是ISP的「四梁八柱」，搞懂了它们，其他都是锦上添花。
1.5 小结
这一章我们聊了ISP是什么、它在成像链路中的位置，以及三大主流应用场景的架构差异。
记住几个关键点：
- ISP处理的是RAW数据，输出的是人眼可看的图像
- 移动端追求集成和功耗，安防端追求低照度和宽动态，车载端追求低延迟和功能安全
- 基础流水线：BLC → Demosaic → AWB → CCM，这是ISP的骨架
嗯，内容就这些。下一章我们开始深入每个模块的算法细节。