1. 内窥镜成像原理与系统概述

大家好，我是你们的FPGA讲师。今天咱们聊聊内窥镜成像这个老本行。说实话，我入行那会儿，内窥镜还是个挺神秘的东西。现在不一样了，技术门槛降了不少，但坑也多了不少。

这一章，我带你从根上捋一遍。从历史到原理，从传感器到系统框图，最后聊聊咱们做硬件加速时最头疼的那些事。

1.1 内窥镜的发展简史

内窥镜这东西，最早可以追溯到19世纪初。那时候的医生用一根硬管子和蜡烛照明，硬往里塞。你想想看，病人得多遭罪。

后来有了光纤，才有了软镜。再后来，CCD和CMOS传感器出现了，电子内窥镜才真正普及。我个人习惯把内窥镜的发展分成三个阶段：

• 硬管镜时代：纯光学结构，照明靠外部光源。视野小，病人痛苦大。
• 光纤镜时代：光纤束传像，柔性好。但分辨率受限于光纤数量，我记得当时一根光纤束也就几万像素。
• 电子镜时代：CCD/CMOS传感器直接放在镜头端。图像质量飞跃，但随之而来的是海量数据处理压力。

嗯，这里要注意：电子镜时代才是FPGA真正大显身手的地方。因为传感器数据量太大了，CPU根本扛不住。

1.2 基本成像原理

说白了，内窥镜成像就是「把光变成电，再把电变成图像」。核心器件就两个：镜头和传感器。

1.2.1 CCD vs CMOS 传感器

我在项目中遇到过不少选型纠结的团队。CCD和CMOS到底选哪个？我直接给你个对比表：

特性	CCD	CMOS
噪声水平	低（全局快门优势）	较高（卷帘快门易有拖影）
功耗	高（需要多路电压）	低（单电压供电）
读出速度	较慢（串行读出）	快（并行读出）
集成度	低（需要外部ADC）	高（片上集成ADC和逻辑）
成本	高	低

为什么会这样？CCD的电荷转移方式决定了它天生噪声低，但功耗高。CMOS每个像素都有自己的放大器，速度快但一致性差。我个人建议：如果做高端医疗内窥镜，选CCD；如果做消费级或便携式，选CMOS。

1.2.2 传感器输出接口

传感器输出接口这块，坑特别多。我踩过最深的坑就是LVDS信号时序。给你看个典型的传感器输出时序：

// 以OV9734 CMOS传感器为例
// 输出格式：RAW10，4-lane MIPI
// 时钟频率：480 MHz (DDR)

// 关键时序参数
PCLK_period = 2.083 ns  // 480 MHz
Data_valid_window = 0.4 * PCLK_period ≈ 0.833 ns
Setup_time = 0.2 * PCLK_period ≈ 0.417 ns
Hold_time = 0.2 * PCLK_period ≈ 0.417 ns

// 注意：MIPI D-PHY的skew要求非常严格
// lane-to-lane skew < 0.15 UI

我曾经因为没注意lane-to-lane skew，导致采集的图像有条纹。查了三天才找到原因。嗯，这里要记住：高速接口的时序裕量比你想象的小得多。

1.3 系统组成框图

一个典型的内窥镜图像采集系统，我习惯把它分成四个模块：

1. 前端光学模块：镜头、照明光纤、滤光片。这部分我一般不碰，交给光学工程师。
2. 传感器模块：CCD/CMOS传感器及其驱动电路。注意电源纹波要控制在10mV以内，否则图像会有横纹。
3. 采集与处理模块：FPGA + DDR + 接口芯片。这是咱们的主战场。
4. 显示与存储模块：HDMI输出、SD卡存储、WiFi传输等。

给你看个我常用的系统框图（文字版）：

+----------------+     +----------------+     +----------------+
|  光学镜头      |     |  CMOS传感器    |     |  FPGA          |
|  (FOV 120°)    |---->|  (1920x1080)   |---->|  (采集+处理)    |
|  照明LED       |     |  MIPI 4-lane   |     |  DDR4控制器    |
+----------------+     +----------------+     +----------------+
                                                      |
                                                      v
                                               +----------------+
                                               |  HDMI输出      |
                                               |  (1080p@60fps) |
                                               +----------------+

这个框图看着简单，但每个模块之间的接口时序、电源完整性、信号完整性，都是坑。我建议你从传感器输出端开始，一级一级往后推。

1.4 当前面临的技术挑战

做内窥镜硬件加速，说白了就是跟三个东西较劲：实时性、分辨率、功耗。

1.4.1 实时性

内窥镜手术中，图像延迟不能超过100ms。否则医生会头晕，甚至操作失误。我遇到过最极端的要求是延迟 < 30ms。

为什么会这么严格？因为医生操作器械时，视觉反馈延迟超过100ms，手眼协调就会出问题。你想想看，在人体内做精细操作，延迟一丁点都可能出大事。

FPGA的优势就在这里。流水线架构，每个像素进来就处理，延迟只有几微秒。CPU做同样的处理，延迟至少几十毫秒。

1.4.2 分辨率

现在主流内窥镜是1080p，但4K已经开始普及了。8K也在路上了。分辨率每提升一倍，数据量就翻四倍。

给你算笔账：

• 1080p @ 60fps：1920×1080×60×10bit ≈ 1.2 Gbps
• 4K @ 60fps：3840×2160×60×10bit ≈ 4.8 Gbps
• 8K @ 60fps：7680×4320×60×10bit ≈ 19.2 Gbps

嗯，这里要注意：这只是原始数据。加上图像处理（去噪、增强、色彩校正），带宽需求还要翻倍。我建议你选FPGA时，至少留出50%的余量。

1.4.3 功耗

内窥镜的镜头端空间极小，散热极差。传感器和FPGA的功耗必须严格控制。我见过一个项目，因为功耗超标，镜头端温度升到45°C，病人皮肤都烫红了。

避坑指南：我曾经因为FPGA功耗估算不准，导致散热方案失效。后来学乖了，用Xilinx的Power Estimator工具先跑一遍，再留20%余量。

好了，这一章就到这里。下一章咱们深入传感器接口，聊聊MIPI D-PHY的FPGA实现。到时候我会分享一个我踩过的坑——MIPI时钟恢复的锁相环参数怎么调。