一、光流法概述：什么是光流？
大家好，我是你们的讲师。今天咱们来聊聊光流法。
说实话，我第一次接触光流这个概念时，觉得它特别玄乎。什么叫「光在流动」？光又不是水，怎么流？
后来做项目做多了才明白——光流，说白了就是图像中像素点的运动速度。
1.1 从生活场景理解光流
你想想看，你坐在车里看窗外。路边的树在往后跑，远处的山在慢慢移动。这就是光流。
更准确地说：光流是空间运动物体在成像平面上，像素运动的瞬时速度。
我举个例子。你拿手机拍一辆行驶的汽车：
- 车身上的某个点，在第1帧位于(x1, y1)
- 到了第2帧，它移动到了(x2, y2)
- 这个位移向量 (dx, dy) 就是光流
嗯，这里要注意：光流不是真的「光」在流，而是亮度模式的运动。
核心定义：光流是图像中灰度模式运动的速度场。它描述了像素点从一帧到下一帧的位移矢量。
1.2 光流法的基本原理
光流法基于一个非常朴素的假设——亮度恒定假设。
什么意思呢？
就是说：同一个物体点，在不同帧里，它的亮度值是不变的。
用数学表达就是：
I(x, y, t) = I(x+dx, y+dy, t+dt)其中：
- I(x, y, t) 是t时刻在(x,y)位置的像素亮度
- I(x+dx, y+dy, t+dt) 是t+dt时刻同一物体点的亮度
把这个等式用泰勒展开，忽略高阶项，就得到了光流的基本方程：
Ix * u + Iy * v + It = 0其中：
- Ix, Iy 是图像在x和y方向的梯度
- It 是图像随时间的变化率
- u, v 就是我们要求的光流矢量
我的经验：这个方程看着简单，但有一个问题——一个方程两个未知数，解不出来。这就是著名的「孔径问题」。我在项目中第一次遇到时也懵了，后来才知道需要加额外的约束条件。
1.3 光流法的物理意义
光流法到底在干什么？
说白了，它是在利用图像亮度的变化，反推物体的运动。
我习惯把光流理解成「视觉运动传感器」。就像蝙蝠用回声定位，我们用光流来感知运动。
它的物理意义体现在三个方面：
- 运动感知：光流场反映了场景中物体的运动方向和速度
- 三维结构恢复：通过光流可以推断物体的深度和表面朝向
- 运动分割：不同运动模式的区域可以被分割出来
避坑指南：我曾经在一个项目中，直接用光流法检测快速运动的物体，结果效果很差。后来才发现——光流法对运动速度有限制。运动太快，像素位移过大，亮度恒定假设就不成立了。一般建议运动速度不超过几个像素/帧。
1.4 光流法的分类
光流法发展到现在，主要有两大流派：
| 类别 | 代表方法 | 特点 | 我的评价 |
|---|---|---|---|
| 稀疏光流 | Lucas-Kanade (LK) | 只计算特征点的光流 | 速度快，适合实时 |
| 稠密光流 | Horn-Schunck (HS) | 计算每个像素的光流 | 信息丰富，但慢 |
我个人习惯：
- 做实时检测时，用LK光流
- 做精细分析时，用稠密光流
- 现在深度学习时代，还有FlowNet这类端到端的方法
1.5 光流法的应用场景
光流法在运动目标检测中，主要有这些用途：
- 运动目标检测：通过光流场的异常区域，找出运动的物体
- 目标跟踪：利用光流预测目标下一帧的位置
- 视频稳定：通过全局光流估计相机运动，进行补偿
- 行为识别：分析光流模式，识别人的动作
注意：光流法不是万能的。它受光照变化、遮挡、纹理缺失等因素影响很大。我在做夜间监控项目时，就吃过这个亏——光线太暗，纹理信息不足，光流根本算不准。
1.6 小结
好了，咱们总结一下今天的内容：
- 光流是像素点的运动速度场
- 核心假设是亮度恒定
- 基本方程 Ix*u + Iy*v + It = 0
- 有稀疏和稠密两种流派
- 应用广泛，但有限制条件
下一章，我会带大家手写一个LK光流法的Python实现。到时候咱们用代码说话，看看光流到底是怎么算出来的。
记住一句话：光流不是魔法，是数学。理解了原理，代码就是水到渠成的事。