2. 图像基础与降质模型
说实话，做超分辨率这几年，我最大的感触是——不懂降质模型，就别谈超分重建。你想想看，连图像是怎么变模糊的都不清楚，怎么可能把它变清晰？
这一节，咱们就把基础打牢。我会从最核心的概念讲起，结合我踩过的坑，带你彻底搞懂图像分辨率、降质过程，以及那两个绕不开的评价指标——PSNR和SSIM。
2.1 图像分辨率：不只是像素多少的问题
很多人觉得分辨率就是「长×宽」，比如1920×1080。嗯，这个理解没错，但太表面了。
我习惯把分辨率拆成三个层面来看：
- 空间分辨率：单位面积内有多少像素。像素越多，细节越丰富。
- 灰度分辨率：每个像素用多少bit表示。8bit能显示256级灰度，10bit就是1024级。
- 时间分辨率：视频里每秒多少帧。帧率越高，运动越流畅。
做超分时，我们主要跟空间分辨率打交道。说白了，就是要把低分辨率的图，变成高分辨率的图。
核心要点：超分辨率不是简单的「放大图片」，而是恢复丢失的高频信息。这两者有本质区别。
我在项目中遇到过一件事：有个同事直接用双线性插值把图片放大4倍，结果边缘糊成一团。他问我为什么效果这么差？我说——你只是插值，不是重建。超分要做的是「猜」出那些丢失的像素细节，而不是「算」出平均值。
2.2 图像降质过程：一张高清图是怎么变模糊的
要理解超分，先得理解降质。降质过程可以用一个公式概括：
低分辨率图像 = (高分辨率图像 ⊗ 模糊核) ↓ 下采样 + 噪声这个公式看着简单，但每个环节都有讲究。我一个个拆开说。
2.2.1 模糊（Blur）
模糊是降质的第一步。为什么会模糊？
- 光学模糊：镜头对焦不准、衍射效应。我做过手机摄像头的超分项目，镜头边缘的模糊比中心严重得多。
- 运动模糊：拍摄时相机抖动或物体移动。说白了就是「拖影」。
- 传感器模糊：感光元件的点扩散函数（PSF）导致的模糊。
常见的模糊核有高斯模糊、均值模糊、运动模糊等。其中高斯模糊用得最多，因为它最接近真实光学系统的退化特性。
我的经验：做超分模型训练时，模糊核的参数设置非常关键。我曾经用固定大小的高斯核训练模型，结果在真实场景下效果很差。后来改成随机采样模糊核，泛化能力明显提升。
2.2.2 噪声（Noise）
噪声是降质过程中最让人头疼的部分。常见的噪声类型：
| 噪声类型 | 特点 | 常见场景 |
|---|---|---|
| 高斯噪声 | 服从正态分布，每个像素独立 | 传感器热噪声 |
| 椒盐噪声 | 随机出现黑白点 | 传输错误、存储损坏 |
| 泊松噪声 | 与信号强度相关 | 低光照拍摄 |
| 量化噪声 | 模数转换时的精度损失 | 所有数字图像 |
嗯，这里要注意：噪声和模糊往往是耦合的。模糊会掩盖部分噪声，但也会让噪声变得「结构化」。我在做去噪+超分的联合模型时，就吃过这个亏——分开处理效果反而不如联合优化。
2.2.3 下采样（Downsampling）
下采样就是降低分辨率。常见的方法：
- 最近邻插值：简单粗暴，但会产生锯齿
- 双线性插值：平滑，但会丢失高频细节
- 双三次插值：效果较好，计算量适中
- 区域平均：取局部像素的平均值，模拟传感器合并
我个人习惯用双三次插值作为默认的下采样方式。为什么？因为它最接近真实相机的成像过程。但要注意，不同数据集的下采样方式可能不同，训练时最好跟测试数据保持一致。
2.3 超分辨率问题的数学建模
好了，现在我们把降质过程串起来，用数学语言描述超分问题。
给定一张低分辨率图像 Y，我们希望找到一张高分辨率图像 X，使得：
Y = D(X) + n其中 D 是降质函数（包含模糊和下采样），n 是噪声。
超分的目标就是求解逆问题：
X̂ = argmin ||Y - D(X)||² + λ·R(X)这个公式看着复杂，其实就两件事：
- 数据保真项：重建的X̂经过降质后，要跟输入的Y尽可能接近
- 正则化项：对X̂施加先验约束，比如平滑性、稀疏性、或者基于深度学习的隐式先验
λ 是平衡系数，控制两项的权重。λ越大，结果越平滑；λ越小，结果越锐利但可能过拟合噪声。
避坑指南：我曾经在调参时把λ设得太小，结果模型把噪声也当成细节重建出来了。图像看起来「清晰」，但全是噪点。后来我总结了一个经验——先固定λ，调网络结构；结构定了，再微调λ。
2.4 PSNR与SSIM：评价指标怎么选
做超分的人，天天跟PSNR和SSIM打交道。但你真的理解它们吗？
2.4.1 PSNR（峰值信噪比）
PSNR的计算公式：
PSNR = 10 · log₁₀(MAX² / MSE)其中MSE是均方误差，MAX是像素最大值（8bit图像就是255）。
PSNR越高，说明重建图像与原始图像的像素差异越小。但注意——PSNR高不代表视觉效果好。
我举个例子：一张图稍微平移了一个像素，PSNR可能很低，但人眼看不出区别。反过来，一张图纹理细节丰富但略有噪声，PSNR可能很高，但人眼觉得「不干净」。
我的建议：PSNR适合做模型训练的损失函数，因为它可导、计算快。但做最终效果评估时，一定要结合SSIM一起看。
2.4.2 SSIM（结构相似性）
SSIM从三个维度衡量图像质量：
- 亮度：均值对比
- 对比度：方差对比
- 结构：协方差对比
SSIM的取值范围是[-1, 1]，越接近1说明越相似。它比PSNR更符合人眼感知。
我记得有一次做模型对比，模型A的PSNR比模型B高了0.5dB，但SSIM反而低了0.02。我让几个同事盲测，大家都觉得模型B的效果更好。这就是SSIM的价值——它抓住了「结构」这个关键。
2.4.3 怎么选？
| 场景 | 推荐指标 | 原因 |
|---|---|---|
| 模型训练 | PSNR（或L1/L2损失） | 可导、计算快、收敛稳定 |
| 学术对比 | PSNR + SSIM | 行业标准，方便复现对比 |
| 实际应用 | SSIM + 主观评价 | 更符合人眼感受 |
2.5 本章知识体系
说了这么多，我画了一张图帮你梳理一下。这张图把图像降质、超分建模、评价指标串在了一起，你看完应该能对整个流程有个全局认识。
这张图把整个流程串起来了：从高分辨率图像出发，经过模糊、下采样、噪声三个环节得到低分辨率图像，然后通过超分重建恢复高分辨率图像，最后用PSNR、SSIM和主观评价来衡量重建质量。
嗯，这一节的内容就到这里。记住一句话：超分的上限，取决于你对降质过程的理解深度。下一节我们会深入具体的超分算法，从传统方法讲到深度学习，到时候你就知道今天打的基础有多重要了。
公众号:蓝海资料掘金营，微信deep3321