一、课程导论：多目标跟踪(MOT)概述、SORT与DeepSORT的定位、应用场景与课程目标

1.1 什么是多目标跟踪？

多目标跟踪，英文叫 Multiple Object Tracking，简称 MOT。说白了，就是让计算机在一段视频里，同时盯住多个目标，并且搞清楚谁是谁。

我刚开始接触这个领域时，觉得这不就是“画框框”吗？后来才发现，事情远没那么简单。你想想看，视频里人走来走去，互相遮挡，镜头还在动——计算机要准确地把每一帧里的“张三”和“李四”区分开，还要保持他们的 ID 不跳变，这其实是个挺头疼的问题。

举个例子：你有一段商场监控视频，里面有 10 个人在走动。MOT 要做的是：

• 每一帧都检测出这 10 个人的位置（用边界框标出来）
• 给每个人分配一个唯一的 ID（比如 ID1 是穿红衣服的女士，ID2 是背书包的学生）
• 在整个视频过程中，保持 ID 不混乱（即使他们擦肩而过、互相遮挡）

嗯，这里要注意：MOT 和单目标跟踪不一样。单目标跟踪只盯一个目标，而 MOT 要同时处理多个目标，还要处理目标的新增和消失。

1.2 SORT 与 DeepSORT 的定位

在 MOT 这个大家庭里，SORT 和 DeepSORT 是两代非常经典的算法。我个人习惯把它们看作“轻量级选手”和“增强版选手”。

算法	核心思想	特点
SORT	基于卡尔曼滤波 + 匈牙利算法	速度快、简单粗暴、适合实时场景
DeepSORT	SORT + 深度学习外观特征	准确率高、抗遮挡能力强、但稍慢

我在项目中遇到过这样一个场景：一个工厂的传送带监控，需要实时统计零件数量。用 SORT 就够了，因为零件长得都差不多，不需要区分外观。但如果是做行人跟踪，比如商场人流分析，那就得上 DeepSORT 了——因为人跟人之间太像了，光靠运动信息容易跟丢。

1.3 应用场景：这些地方都在用 MOT

说实话，MOT 的应用场景比大多数人想象的要广得多。我随便列几个：

• 自动驾驶：跟踪路上的车辆、行人、自行车。我记得有一次调试时，发现算法把一辆公交车当成了两辆车——因为车身太长，检测框断开了。这种坑，不做项目根本遇不到。
• 智慧安防：商场、小区、学校的监控系统。统计人流量、检测异常行为。
• 体育分析：足球、篮球比赛中跟踪运动员和球。这个场景特别难，因为运动员穿得一样，还经常挤在一起。
• 工业质检：传送带上的产品跟踪、计数。
• 无人机视觉：航拍视频中的车辆、人群跟踪。

我曾经做过一个智慧零售的项目，需要在货架前跟踪顾客的拿取行为。当时踩了一个大坑：顾客背对摄像头时，DeepSORT 的外观特征提取效果很差。后来我加了一个“方向检测”模块，才把准确率提上去。这种经验，书上学不到。

1.4 课程目标：学完你能做什么？

这门课的目标很明确——让你从零开始，彻底搞懂 SORT 和 DeepSORT，并且能动手实现。

具体来说，学完这门课，你应该能：

1. 理解 MOT 的核心流程：检测 → 特征提取 → 数据关联 → 状态更新
2. 手撕 SORT 算法：卡尔曼滤波怎么用？匈牙利算法怎么配？代码怎么写？
3. 掌握 DeepSORT 的改进点：外观特征提取网络、级联匹配策略、马氏距离与余弦距离的融合
4. 独立完成一个 MOT 项目：从数据集准备、模型训练到推理部署，全流程走一遍

1.5 课程结构一览

这门课一共 30 章，我把它分成了几个阶段：

• 基础篇（1-5章）：MOT 基础、目标检测回顾、卡尔曼滤波入门
• SORT 篇（6-12章）：SORT 算法详解、代码实现、调优技巧
• DeepSORT 篇（13-22章）：外观特征提取、级联匹配、实战项目
• 进阶篇（23-30章）：性能评估、部署优化、最新进展

说实话，这个结构我调整了好几次。一开始想按“理论-实践”分，后来发现这样容易脱节。现在这样“算法-代码-项目”穿插着来，学起来更顺畅。

1.6 写在开头的话

做 MOT 这些年，我最大的感受是：这个领域看起来门槛不高，但真正做好很难。你可能会遇到 ID 频繁切换、遮挡导致跟丢、实时性不够等问题。别怕，这些都是正常的。

这门课里，我会把我在项目中踩过的坑、总结的经验，毫无保留地分享出来。有些技巧可能论文里不会写，但实际工作中非常管用。

好了，废话不多说。从下一章开始，我们就正式进入 MOT 的世界。准备好了吗？