1、图像质量基础:图像传感器原理、ISP流水线概述、图像质量评价指标
各位同学好,我是你们这门课的主讲。在图像质量这个领域摸爬滚打了十几年,踩过的坑比走过的路还多。今天咱们开始第一讲,先把地基打牢。
说白了,图像质量调试这件事,就像炒菜。你得先知道锅(传感器)是什么材质,火候(ISP流水线)怎么控制,最后才知道菜好不好吃(评价指标)。这三样东西,缺一不可。
1.1 图像传感器原理:相机是怎么“看见”的?
图像传感器,就是相机的“视网膜”。它把光信号转成电信号。目前主流就两种:CCD和CMOS。
CCD传感器:电荷耦合器件。成像质量好,噪声低,但功耗大、速度慢。现在基本只在高端工业相机里还能见到。
CMOS传感器:互补金属氧化物半导体。功耗低、速度快、集成度高。手机、安防、车载,清一色都是它。
我个人习惯把CMOS比作一个“像素阵列菜市场”。每个像素就是一个摊位,负责收集光子。光子打进来,产生电子,电子数量决定了这个像素的亮度。
关键参数:
- 像素尺寸:越大,感光能力越强,暗光表现越好。但分辨率会下降。
- 量子效率(QE):光子转化成电子的效率。QE越高,灵敏度越好。
- 满阱容量:一个像素最多能装多少电子。决定了动态范围。
- 暗电流:没光的时候,像素自己产生的电子。这是噪声的主要来源之一。
嗯,这里要注意一个坑。很多新人只看像素数量,觉得2000万一定比1200万好。我在项目中遇到过,某款手机用了高像素小像素尺寸的传感器,暗光下噪点满天飞,最后不得不做多帧降噪,功耗和延迟都上去了。像素数量不是万能的,像素质量才是根本。
1.2 ISP流水线概述:从Raw图到美图的“魔法工厂”
传感器输出的原始数据,叫Raw图。这玩意儿灰蒙蒙的,根本不能看。ISP(图像信号处理器)就是负责把它变成我们肉眼看着舒服的图片。
ISP流水线,说白了就是一条处理流水线。每个模块干一件事,顺序还不能乱。我画个简化的流程给你看:
Raw图 → 黑电平校正 → 去噪 → 去马赛克 → 白平衡 → 色彩校正 → Gamma校正 → 色调映射 → 锐化 → YUV输出
每个模块我简单说一下:
- 黑电平校正:去掉传感器本身的暗电流偏移。不然黑色会发灰。
- 去噪:我最头疼的模块。去噪太狠,细节没了;去噪太轻,噪点还在。这是个平衡艺术。
- 去马赛克:Bayer阵列每个像素只有一种颜色,通过插值算出另外两种颜色。插值算法好坏直接影响边缘和细节。
- 白平衡:让白色物体在任何光源下都呈现白色。不然日光灯下拍出来会偏绿。
- 色彩校正:把传感器捕捉到的颜色映射到标准色域。说白了就是让红色更红,蓝色更蓝。
- Gamma校正:人眼对暗部变化更敏感。Gamma曲线就是用来做这个非线性映射的。
- 色调映射:把高动态范围的场景压缩到显示设备能显示的范围内。HDR的核心。
- 锐化:增强边缘对比度,让画面看起来更清晰。但过头了会有“光晕”和“振铃”。
我的经验:调试ISP时,千万别想着一步到位。我习惯先调黑电平和白平衡,把基础颜色搞准了,再去碰去噪和锐化。否则你调了半天,发现颜色偏了,前面的工作全白费。
为什么会这样?因为去噪和锐化会改变像素的统计特性,影响白平衡的准确性。所以顺序很重要。
1.3 图像质量评价指标:怎么才算“好”图像?
图像质量好不好,不能光靠眼睛看。得有客观数据说话。我把它分成两类:客观指标和主观评价。
客观指标
| 指标 | 含义 | 我的经验 |
|---|---|---|
| SNR(信噪比) | 信号与噪声的比值。越高越好。 | 暗光下SNR低于30dB,基本没法看。 |
| 动态范围(DR) | 最亮和最暗区域的比值。单位dB。 | 手机一般60-70dB,车载需要120dB以上。 |
| MTF(调制传递函数) | 衡量镜头和传感器对细节的还原能力。 | MTF50是常用指标,越高越清晰。 |
| 色彩准确度(ΔE) | 测量颜色与标准色的偏差。越小越好。 | ΔE小于3,人眼基本看不出差异。 |
| 坏点/死点 | 像素点失效,呈现固定亮点或暗点。 | 坏点校正不好,画面会有“星星”。 |
主观评价
客观指标再漂亮,最终还是要人眼看。我常用的方法:
- 实景拍摄对比:拿竞品手机,在相同场景下拍同一张图,放大对比细节和颜色。
- 灰阶卡测试:看从黑到白的过渡是否平滑,有没有断层。
- 24色卡测试:检查每个色块的还原度。
- 运动场景:拍快速移动的物体,看有没有拖影或模糊。
避坑指南:我曾经在调试一款安防相机时,实验室数据非常漂亮,SNR、MTF都达标。结果一装到户外,画面全是闪烁和条纹。后来发现是电源纹波干扰了传感器。所以实验室数据只能信一半,实际场景才是检验真理的唯一标准。
你想想看,如果只看客观指标,很多问题根本发现不了。比如锐化过度导致的“塑料感”,客观指标可能显示MTF很高,但人眼看着就是不舒服。所以我的习惯是:客观指标做底线,主观评价做上限。
好了,第一讲就到这里。图像传感器是硬件基础,ISP是软件灵魂,评价指标是衡量标尺。这三样东西搞明白了,后面的调试才有方向。下一讲我们聊聊具体的调试工具和环境搭建,到时候见。