第三讲：智能相机硬件架构——图像传感器、镜头与ISP
各位同学，今天我们来聊聊智能相机的硬件架构。说实话，这部分内容是我在课程里最想讲透的。为什么？因为硬件选型一旦出错，后面软件写得再好也白搭。我自己就吃过这个亏，后面会跟大家细说。
一、图像传感器：CCD vs CMOS
图像传感器，说白了就是相机的「视网膜」。它把光信号转成电信号。目前主流就两种：CCD 和 CMOS。
1. CCD 传感器
CCD 的历史更久。它的特点是每个像素收集到的电荷，统一送到一个放大器去处理。这样做的好处是——噪声低，图像均匀性好。
但缺点也很明显：功耗大、速度慢。我早年做工业相机时用过 CCD，那发热量，摸上去都烫手。
CCD 的典型应用场景：
- 天文摄影（对噪声极度敏感）
- 医疗成像（需要高动态范围）
- 高端工业检测
2. CMOS 传感器
CMOS 就不一样了。每个像素自带放大器，各干各的。这样做的好处是速度快、功耗低、集成度高。现在手机里的摄像头，清一色都是 CMOS。
但 CMOS 有个老毛病——固定模式噪声（FPN）。每个像素的放大器不完全一致，导致画面出现条纹。不过这些年技术进步很大，CMOS 的噪声控制已经相当不错了。
我个人习惯：做消费级产品，无脑选 CMOS。成本低、体积小、开发资源多。只有遇到特殊需求（比如极低光照），我才会考虑 CCD。
3. 两者对比
| 特性 | CCD | CMOS |
|---|---|---|
| 噪声 | 低 | 中等（近年改善明显） |
| 功耗 | 高 | 低 |
| 速度 | 慢 | 快 |
| 集成度 | 低 | 高（可集成ADC、DSP） |
| 成本 | 高 | 低 |
| 典型应用 | 专业、工业 | 消费电子、安防 |
二、镜头与光学系统
镜头这东西，看着简单，其实门道很深。你想想看，传感器再好，镜头不行，拍出来的照片也是糊的。
1. 关键参数
- 焦距：决定了视场角。焦距越短，看得越宽。我做全景相机时，用的就是短焦镜头。
- 光圈：用 F 值表示。F 值越小，进光量越大。但要注意，大光圈镜头往往边缘画质下降。
- 畸变：广角镜头常见的问题。画面边缘的直线会变弯。嗯，这个后期可以通过 ISP 校正。
我曾经踩过的坑：选镜头时只看了焦距和光圈，没注意后焦（镜头到传感器的距离）。结果装上去发现对焦不准，重新设计结构，耽误了两周工期。所以，选镜头一定要看机械接口和法兰距。
2. 光学系统设计要点
嵌入式相机和单反不一样。我们往往受限于体积和成本。我的建议是：
- 先定传感器，再选镜头。传感器的靶面尺寸决定了镜头的像场。
- 注意红外滤光片。如果要做日夜两用，需要 IR-CUT 切换。
- 镜片材质。塑料镜头便宜但容易磨损，玻璃镜头贵但耐用。
三、ISP（图像信号处理器）的作用
ISP 是什么？说白了，就是让原始图像变好看的「魔法师」。传感器出来的 RAW 数据，直接看是没法用的。ISP 负责把它变成我们肉眼看着舒服的画面。
1. ISP 的核心处理流程
我画个简化的流程给大家看：
RAW 数据 → 黑电平校正 → 去噪 → 去马赛克（Demosaic）→
白平衡 → 色彩校正 → Gamma 校正 → 锐化 →
输出 YUV/RGB每一步都有讲究。比如去马赛克，就是把 Bayer 格式的像素插值成完整的 RGB。算法选不好，画面就会出现伪色。
2. ISP 的实现方式
有三种常见方案：
- 独立 ISP 芯片：比如安霸、海思的方案。性能强，但成本高。
- 集成在 SoC 中：现在很多主控芯片自带 ISP。比如瑞芯微 RV1126，性价比很高。
- 软件 ISP：用 CPU 或 GPU 跑算法。灵活，但功耗大。我早期做原型验证时常用。
我的建议：量产产品尽量用硬件 ISP。软件 ISP 看着省钱，但调试起来能让你怀疑人生。我曾经为了优化一个去噪算法，连续加班两周。
四、主控芯片选型
主控芯片是整个系统的「大脑」。选型对了，项目就成功了一半。
1. 选型考虑因素
| 因素 | 说明 |
|---|---|
| 算力 | 是否需要 AI 加速？NPU 算力多少 TOPS？ |
| 接口 | 是否支持 MIPI CSI？USB 3.0？以太网？ |
| 功耗 | 电池供电还是插电？散热条件如何？ |
| 生态 | SDK 是否完善？社区活跃度如何？ |
| 成本 | BOM 成本控制在多少？ |
2. 常见主控方案
我按应用场景给大家列几个：
- 入门级（智能门铃、USB 摄像头）：君正 T31、安凯 AK3918。便宜，够用。
- 中端（AI 摄像头、人脸识别终端）：瑞芯微 RV1126/RK3588。NPU 性能不错，我最近的项目就在用。
- 高端（工业相机、医疗内窥）：Xilinx FPGA + ARM。灵活，但开发难度大。
避坑指南：我曾经选了一款冷门芯片，结果 SDK 文档不全，驱动 bug 一堆。最后不得不换平台，损失惨重。所以，选主控一定要看生态。优先选瑞芯微、全志、海思这些大厂的方案。
3. 接口匹配
主控和传感器之间通过 MIPI CSI 接口连接。这里要注意几点：
- 通道数：2-lane 还是 4-lane？分辨率越高，需要的通道越多。
- 时钟频率：要算一下带宽是否够。公式很简单：分辨率 × 帧率 × 位深。
- 电压匹配：1.8V 还是 1.2V？搞错了会烧芯片。
举个例子，一个 500 万像素的传感器，30fps，10bit 数据：
带宽 = 2592 × 1944 × 30 × 10 = 1.51 Gbps
4-lane MIPI 每 lane 最高 1.5 Gbps，总带宽 6 Gbps，够用。五、总结
好了，这一讲的内容就这些。我给大家捋一下重点：
- 传感器选 CMOS 还是 CCD，看应用场景。
- 镜头要注意机械接口和光学参数。
- ISP 是图像质量的保障，尽量用硬件方案。
- 主控选型要综合考虑算力、接口、生态和成本。
下一讲我们会深入 ISP 的调试方法，到时候我会带大家看一些实际的 tuning 案例。嗯，今天就到这里，有问题随时问我。
课后思考：如果你要做一款户外运动相机，你会怎么选型？考虑哪些因素？欢迎在群里讨论。