4、瞳孔检测算法：从经典方法到深度学习

瞳孔检测，说白了就是找到图像里那个黑黑的圆。但你别小看它，这个看似简单的任务，在AR/VR里可是眼动追踪的基石。瞳孔中心偏了哪怕一个像素，视线估计就会跑偏好几度。

我个人习惯把瞳孔检测算法分成三大类：传统图像处理、椭圆拟合、深度学习。它们各有各的用武之地，也各有各的坑。今天我就把这三种方法掰开揉碎了讲给你听。

4.1 瞳孔定位：先找到大概位置

瞳孔定位，不是直接找精确边缘，而是先确定瞳孔在图像里的粗略位置。这一步做得好，后续的精细处理就轻松很多。

常用的定位方法：

• 灰度投影法：把图像往水平和垂直方向投影，瞳孔区域灰度低，投影曲线会出现明显的波谷。这个方法简单粗暴，但容易受眉毛、睫毛干扰。
• 星形搜索法：从图像中心向外辐射多条射线，沿每条射线找灰度突变点。我在项目中遇到过一个问题——如果用户戴了美瞳，灰度突变就不明显了，得调整阈值。
• 霍夫圆检测：直接检测圆形区域。但说实话，霍夫圆在实时系统里有点慢，而且对椭圆形的瞳孔效果不好。

4.2 边缘检测：找到瞳孔的边界

定位到瞳孔区域后，下一步就是提取边缘。边缘检测的质量，直接决定了后续椭圆拟合的精度。

常用的边缘检测算子：

嗯，这里要注意。Canny虽然好，但它的双阈值参数很关键。我曾经在一个项目中，因为光照变化导致Canny阈值失效，瞳孔边缘断成了好几截。后来我改用自适应阈值，才解决了这个问题。

// Canny边缘检测示例（C++风格伪代码）
Mat src, gray, edges;
cvtColor(src, gray, COLOR_BGR2GRAY);
GaussianBlur(gray, gray, Size(5,5), 1.5);
Canny(gray, edges, 30, 90);  // 低阈值30，高阈值90

4.3 椭圆拟合：从边缘点到瞳孔参数

瞳孔在图像里其实是个椭圆，因为眼球是球体，摄像头视角有倾斜。所以用椭圆拟合比圆拟合更准确。

椭圆拟合的数学原理：

椭圆的一般方程是：Ax² + Bxy + Cy² + Dx + Ey + F = 0。我们需要从边缘点中解出A、B、C、D、E、F这六个参数。

常用方法：

• 最小二乘法：直接对边缘点做代数距离最小化。速度快，但容易受离群点影响。
• RANSAC：随机采样，迭代拟合。鲁棒性好，能剔除睫毛、反光等干扰点。我建议在光照变化大的场景用RANSAC。
• 直接椭圆拟合（Fitzgibbon方法）：一种封闭解，速度快且保证椭圆约束。我个人比较喜欢这个方法，稳定。

// 直接椭圆拟合示例（Python风格）
import cv2
import numpy as np

# 假设edges是二值边缘图
contours, _ = cv2.findContours(edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
for cnt in contours:
    if len(cnt) < 5:
        continue
    ellipse = cv2.fitEllipse(cnt)
    # ellipse返回 (center, axes, angle)
    center, axes, angle = ellipse

4.4 深度学习瞳孔分割：当传统方法不够用时

传统方法在理想条件下表现不错，但遇到强光、暗光、戴眼镜、眯眼等情况，就容易翻车。这时候，深度学习就派上用场了。

为什么用深度学习？

• 鲁棒性强：对光照、遮挡、姿态变化不敏感
• 精度高：像素级分割，亚像素精度
• 端到端：输入图像，直接输出瞳孔掩码

常用的网络结构：

你想想看，在AR眼镜上跑深度学习，算力是最大的瓶颈。我建议用MobileNetV3作为backbone，配合轻量级分割头，这样在骁龙XR2平台上能跑到30fps以上。

# 深度学习瞳孔分割伪代码
import torch
import torch.nn as nn

class PupilSegNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.backbone = MobileNetV3()  # 轻量级骨干
        self.seg_head = nn.Sequential(
            nn.Conv2d(128, 64, 3, padding=1),
            nn.ReLU(),
            nn.Conv2d(64, 1, 1),
            nn.Sigmoid()
        )
    
    def forward(self, x):
        features = self.backbone(x)
        mask = self.seg_head(features)
        return mask

4.5 知识体系总览

下面这张图，是我总结的瞳孔检测算法知识体系。你可以把它当作一个路线图，按需选择方法。

4.6 实际项目中的选择建议

说了这么多，到底该用哪种方法？我根据实际项目经验，给你几个建议：

1. 算力充足（如PC端）：直接用深度学习分割，精度最高。U-Net或者DeepLabV3都行。
2. 算力有限（如AR眼镜）：用传统方法。先灰度投影定位，再Canny边缘检测，最后Fitzgibbon椭圆拟合。这套组合拳在骁龙XR2上能跑120fps。
3. 光照变化剧烈：别用纯传统方法。我建议用深度学习做粗分割，再用椭圆拟合精调。混合方法效果最好。
4. 戴眼镜或美瞳：边缘检测容易受反光干扰。这时候RANSAC椭圆拟合比最小二乘法靠谱得多。