1. 课程导论：什么是多帧降噪？为什么需要多帧降噪？课程目标与学习路径
1.1 从一个真实场景说起
我记得几年前接手过一个项目——手机夜景模式。客户反馈说，晚上拍出来的照片全是噪点，像星空一样。但又不是那种浪漫的星空，是让人头疼的电子噪声。
当时我试了各种单帧降噪算法，从高斯滤波到双边滤波，效果都不理想。降噪狠了，细节糊成一片；保留细节吧，噪点又压不下去。说白了，这就是单帧降噪的天花板——你只有一张图的信息，怎么取舍都像在走钢丝。
后来我换了个思路：既然一张图不够，那就多拍几张。这就是多帧降噪的起点。
1.2 什么是多帧降噪？
多帧降噪，简单讲就是拍多张同一场景的照片，然后把这些照片合成一张更干净的图。你想想看，每张照片都有随机噪声，但场景内容是固定的。把多张图叠在一起，噪声会互相抵消，信号会逐渐增强。
用数学的话说：
- 信号（场景内容）是确定性的，每次拍摄都一样
- 噪声是随机的，每次拍摄都不一样
- 叠加 N 帧后，信号强度变成 N 倍，噪声强度只变成 √N 倍
- 信噪比提升约 √N 倍
核心公式（非正式版）：
信噪比提升 ≈ √N，其中 N 是帧数
拍 4 帧，信噪比提升 2 倍；拍 9 帧，提升 3 倍。嗯，就是这么个关系。
1.3 为什么需要多帧降噪？
单帧降噪能做到什么程度？我举个例子：
- 空间域滤波：均值滤波、高斯滤波、中值滤波。简单，但容易丢细节。
- 变换域滤波：小波去噪、BM3D。效果好，但计算量大，而且对纹理复杂区域还是力不从心。
- 深度学习：DnCNN、FFDNet。效果不错，但需要大量训练数据，而且泛化性是个问题。
单帧降噪的瓶颈在哪？说白了，你只有一张图的信息。噪声和细节在频域上经常重叠，你分不开它们。多帧降噪就不一样了——你有了时间维度的信息，噪声和信号在时间轴上的行为完全不同。
我的经验：在项目中，单帧降噪能做到 2-3dB 的 PSNR 提升就很不错了。但多帧降噪，轻轻松松就能做到 5-8dB 的提升。尤其是在暗光场景下，差距更明显。
1.4 多帧降噪的核心挑战
当然，多帧降噪不是简单的「拍几张图叠起来」就完事了。我在实际项目中踩过不少坑：
- 运动问题：你拍多帧时，相机和场景不可能完全静止。手抖、物体移动、光线变化，都会导致帧间不对齐。
- 存储与带宽：多帧意味着多倍的数据量。手机 ISP 的带宽有限，不能无限制地传数据。
- 实时性要求：用户按一次快门，你不能让他等 5 秒。多帧降噪必须在几十毫秒内完成。
- 鬼影问题：运动物体处理不好，就会出现半透明的重影，比噪点还难看。
我曾经踩过的坑：有一次做多帧融合，没处理好运动区域，结果拍出来的照片里，行人的脸变成了三张叠在一起的「千面佛」。客户直接打电话过来问是不是相机坏了。从那以后，我对运动补偿和鬼影检测格外上心。
1.5 课程目标
这门课的目标很明确：让你从理论到实践，完整掌握多帧降噪技术。具体来说：
- 理解核心原理：噪声模型、帧间配准、融合策略、运动补偿
- 掌握工程实现：从算法原型到嵌入式部署，每一步都有代码和实验
- 学会避坑：我会把项目中遇到的各种坑和解决方案分享给你
- 能独立设计系统：给你一个场景，你能设计出合适的多帧降噪方案
1.6 学习路径
整个课程分为四个阶段，我建议你按顺序来：
| 阶段 | 章节 | 核心内容 |
|---|---|---|
| 基础篇 | 1-5 | 噪声模型、图像质量评估、多帧降噪基础原理 |
| 算法篇 | 6-15 | 帧间配准、运动估计、融合策略、鬼影检测 |
| 工程篇 | 16-25 | 嵌入式优化、ISP 集成、内存管理、流水线设计 |
| 实战篇 | 26-30 | 完整项目实战、性能调优、部署测试 |
我个人习惯是「先跑通再优化」。建议你每学完一个算法，就立刻动手写代码验证。别怕写得丑，先跑起来再说。
1.7 知识体系总览
下面这张图展示了多帧降噪的完整知识体系。你可以把它当作学习地图：
1.8 你需要什么基础？
这门课不是零基础入门。我假设你已经具备：
- 基本的图像处理知识（滤波、变换、色彩空间）
- 一定的编程能力（C/C++ 或 Python）
- 对嵌入式系统有基本了解（内存、计算资源的概念）
如果你还不太熟悉这些，也没关系。每章我都会给出参考资料和前置知识链接，你可以按需补课。
我的建议：学习过程中多动手。光看代码不动手，就像看菜谱不做菜——永远学不会。我当年学多帧降噪时，光是帧间配准就写了不下 10 个版本，每个版本都有不同的 bug。但正是这些 bug 让我真正理解了算法。
1.9 课程特色
这门课和市面上其他课程有什么不同？我总结了几点：
- 实战驱动：每个算法都有可运行的代码示例，不是纸上谈兵
- 部署导向：从算法设计之初就考虑嵌入式部署的约束
- 避坑指南：我会把项目中遇到的典型问题一一拆解
- 完整流程：从理论推导到工程实现，再到性能调优，一条龙
好了，导论就到这里。接下来我们进入正题——先搞清楚噪声到底是什么，怎么建模，怎么评估。这是所有降噪算法的基础。
公众号:蓝海资料掘金营，微信deep3321