视频行为识别与异常检测实战 - 课程目录

课程导论与行业背景导论

视频行为识别与异常检测的定义、应用场景（安防、工业、医疗）、技术发展脉络与课程目标。

视频数据基础基础

视频的数字化表示（帧、码率、分辨率）、常见视频格式（MP4, AVI）、视频读取与帧提取实战（OpenCV基础）。

图像处理基础回顾回顾

色彩空间（RGB, HSV）、图像滤波（高斯、中值）、边缘检测（Canny）、特征点提取（SIFT, ORB）。

光流法原理与实战核心

光流的概念（稀疏与稠密）、Lucas-Kanade算法、Farneback稠密光流、基于光流的运动特征提取。

背景建模与前景分割经典

帧差法、高斯混合模型（GMM）、KNN背景分割器、MOG2算法实战。

目标检测基础（上）检测

滑动窗口与图像金字塔、HOG特征与SVM行人检测、非极大值抑制（NMS）。

目标检测基础（下） YOLOv8

YOLOv8原理简介、YOLOv8的安装与配置、使用YOLOv8进行视频目标检测。

目标跟踪入门跟踪

单目标跟踪（KCF, CSRT）、多目标跟踪（DeepSORT原理简介）、跟踪与检测的协同。

行为识别经典方法传统

时空兴趣点（STIP）、密集轨迹（DT/iDT）、基于轨迹的特征编码（Fisher Vector）。

深度学习行为识别（上） 3D CNN

2D卷积网络（CNN）处理视频的局限性、3D卷积网络（C3D）原理、C3D网络结构详解。

深度学习行为识别（中）双流

双流网络（Two-Stream）架构、时间分段网络（TSN）、TSN的稀疏采样策略。

深度学习行为识别（下）前沿

I3D模型（Inflated 3D）、Non-local网络、视频Transformer（TimeSformer）简介。

时序动作检测检测

动作检测与动作识别的区别、基于锚点的方法（SSAD）、基于边界预测的方法（BSN, BMN）。

异常检测概述基础

异常检测的定义与挑战、异常类型（点异常、上下文异常、集体异常）、评价指标（AUC, F1, EER）。

基于重构的异常检测自编码器

自编码器（AE）原理、卷积自编码器（ConvAE）用于视频异常、记忆增强自编码器（MemAE）。

基于预测的异常检测预测

未来帧预测（PredNet）、基于GAN的异常检测（AnoGAN）、视频帧预测误差作为异常分数。

基于单分类的异常检测单分类

单类支持向量机（OC-SVM）、深度支持向量数据描述（Deep SVDD）、在视频特征上的应用。

基于蒸馏的异常检测蒸馏

知识蒸馏概念、利用教师-学生网络进行异常检测、特征匹配与异常定位。

弱监督异常检测弱监督

多实例学习（MIL）框架、RTFM（Real-Time Frame-level Model）、图卷积网络在弱监督中的应用。

异常检测数据集与评估数据

UCSD Pedestrian、ShanghaiTech、Avenue Dataset、UBI Abnormal、数据预处理与评估协议。

特征提取与降维特征

使用预训练CNN（ResNet, I3D）提取视频特征、PCA与t-SNE降维、特征归一化技巧。

时序建模与序列学习 RNN

循环神经网络（RNN, LSTM, GRU）回顾、双向LSTM用于行为建模、注意力机制在时序中的应用。

图神经网络在行为识别中的应用 GNN

人体骨架提取（OpenPose, MediaPipe）、时空图卷积网络（ST-GCN）、基于骨架的行为识别。

多模态行为识别多模态

RGB与光流融合、RGB与骨架融合、多模态特征对齐与融合策略（早期、晚期、混合）。

模型部署与加速部署

模型量化（INT8）、ONNX导出与推理、TensorRT加速、在边缘设备（Jetson）上的部署。

端到端异常检测系统搭建系统

数据流管道设计、实时视频流处理（RTSP, Webcam）、告警机制与日志记录。

实战项目一：光流+自编码器项目

基于光流与自编码器的异常检测系统（从数据准备到可视化）。

实战项目二：YOLOv8+DeepSORT 项目

基于YOLOv8+DeepSORT的打架斗殴行为识别系统。

实战项目三：ST-GCN跌倒检测项目

基于ST-GCN的跌倒检测与异常姿态识别系统。

课程总结与前沿展望展望

当前技术瓶颈、未来趋势（视觉大模型、自监督学习）、学习路径与资源推荐。