第一章：ISP概述

1.1 高通ISP发展历程

做图像处理这些年，我亲眼见证了高通ISP的进化史。说实话，早期的高通ISP真不算强。记得2012年左右，我还在做手机摄像头调试，那时候高通平台用的是MSM8x60系列，ISP还是个独立的硬件模块，功能单一得很。

转折点出现在骁龙800系列。嗯，这个系列真正把ISP做成了集成在SoC里的核心单元。我个人习惯把这段历史分成三个阶段：

• 第一阶段（2012-2014）：独立ISP，14bit处理，基本功能就是去噪、锐化、色彩校正。我当时调过一款MSM8974的机器，晚上拍照那噪点...啧啧，不提也罢。
• 第二阶段（2015-2018）：集成ISP，14bit升级到16bit，加入了多帧合成、HDR、相位对焦。骁龙820的Spectra ISP是个里程碑，我第一次在手机上看到了真正的夜景模式。
• 第三阶段（2019至今）：AI ISP时代，骁龙865的Spectra 480开始引入AI加速，到了骁龙8 Gen2，ISP已经能同时处理3路4K HDR视频了。

你想想看，从单帧处理到多帧融合，从纯硬件到AI辅助，这中间的变化有多大。我在项目中遇到过最头疼的事，就是老平台升级新平台时，ISP参数要全部重新调。因为算法架构变了，之前积累的tuning经验得推倒重来。

1.2 ISP在相机系统中的位置

ISP在整个相机系统里扮演什么角色？说白了，它就是图像数据的"翻译官"。

传感器输出的原始数据是Bayer格式的RAW图，人眼根本没法看。ISP的任务就是把RAW图变成我们能欣赏的照片。我经常跟新人说：传感器是眼睛，ISP是大脑。眼睛看到的东西，得经过大脑处理才能理解。

整个相机系统的数据流是这样的：

镜头 → 传感器(RAW) → ISP(处理) → 编码器(压缩) → 存储/显示

这里有个关键点：ISP处理的是未压缩的RAW数据。为什么？因为压缩会丢失信息，而ISP需要尽可能多的信息来做优化。我曾经踩过一个坑：为了省带宽，在RAW数据进ISP前做了有损压缩，结果图像质量怎么调都上不去。后来才发现是压缩把细节丢了。

高通平台的ISP通常位于相机子系统中，与CPU、GPU、DSP共享内存带宽。它的优先级很高，因为拍照是实时任务，延迟超过33ms（30fps）就会卡顿。

1.3 ISP核心功能模块概览

高通的ISP管线，我习惯把它分成前端处理和后端处理两大部分。前端处理的是RAW域数据，后端处理的是RGB/YUV域数据。

先看前端模块：

模块	功能	我的经验
BLC（黑电平校正）	消除传感器暗电流噪声	这个参数调不好，整个画面偏色
LSC（镜头阴影校正）	补偿镜头边缘亮度衰减	广角镜头尤其明显，我调过一款超广角，边缘亮度掉了40%
DPC（坏点校正）	修复传感器坏点	千万别依赖自动检测，手动标定更靠谱
AWB（自动白平衡）	还原真实色彩	室内混合光源下最容易翻车
Demosaic（去马赛克）	Bayer转RGB	算法好坏直接影响细节和伪色

再看后端模块：

• 3A（AE/AF/AWB）：自动曝光、自动对焦、自动白平衡。这三个是ISP的"大脑"，协同工作。我建议新手先理解AE，因为曝光错了后面全白搭。
• 去噪（NR）：分空域去噪和时域去噪。高通从Spectra 480开始加入了AI去噪，效果确实好，但功耗也高。
• 锐化（Sharpening）：增强边缘细节。调过头了会有光晕，调少了画面发肉。这个度很难把握。
• 色彩校正（CCM）：把传感器色彩空间映射到标准色彩空间。每个传感器都有自己的色彩特性，CCM就是做"翻译"。
• Gamma校正：调整亮度曲线，让画面更符合人眼感知。

高通ISP还有一个特色模块叫IFE（Image Front End）和IPE（Image Processing Engine）。IFE负责前端处理，IPE负责后端处理。这种分离架构的好处是：前端可以并行处理多路传感器数据，后端可以灵活配置处理流程。

举个例子，骁龙8 Gen2的ISP支持三路并发：主摄、超广角、长焦可以同时工作。这在视频录制时特别有用，比如你拍视频时切换镜头，画面不会中断。嗯，这个功能我测试过，确实流畅。

最后说一句：ISP的每个模块都不是孤立的。调AWB会影响色彩，调去噪会影响锐度，调Gamma会影响曝光。做ISP tuning就像在走钢丝，得全局考虑。我个人习惯是先调3A，再调色彩，最后调细节。这个顺序能少走很多弯路。