01
课程导论：深度相机与姿态估计
什么是深度相机？应用领域：游戏、影视、医疗、机器人。课程目标与学习路径。
导论应用
02
深度相机原理
结构光、ToF、双目立体视觉。深度图与RGB图的配准。
原理传感器
03
深度相机选型与SDK
Intel RealSense、Kinect、Apple LiDAR。SDK安装与基础API调用。
硬件SDK
04
点云数据基础
点云概念、PCL库简介、点云可视化。
点云PCL
05
人体关键点检测基础
2D姿态估计 (OpenPose, MediaPipe) 与3D姿态估计概述。
关键点2D/3D
06
MediaPipe实战
安装MediaPipe，实现实时2D人体关键点检测。
MediaPipe实时
07
从2D到3D：深度反投影
利用深度图将2D关键点反投影到3D空间。坐标系转换。
3D坐标系
08
人体骨骼模型
骨骼拓扑结构、父子关节关系、骨骼树构建。
骨骼拓扑
09
姿态表示方法
欧拉角、旋转矩阵、四元数。优劣对比与使用场景。
数学旋转
10
逆运动学 (IK) 入门
IK概念、CCD算法、FABRIK算法。用于姿态优化。
IK算法
11
动作捕捉数据格式
BVH、FBX、CSM。解析BVH文件结构。
格式BVH
12
实时动作捕捉流水线
从深度图到骨骼动画的完整流程。延迟优化技巧。
流水线实时
13
手部关键点检测
MediaPipe Hands、深度相机手部追踪。
手部MediaPipe
14
手部姿态估计
手部骨骼模型、手势识别基础。
手势骨骼
15
全身动作捕捉
结合身体与手部关键点，构建全身骨骼。
全身融合
16
多人姿态估计
多人场景下的关键点匹配与ID分配。
多人匹配
17
姿态跟踪与平滑
卡尔曼滤波、指数平滑、One-Euro滤波器。减少抖动。
滤波平滑
18
动作识别基础
基于关键点序列的动作分类 (LSTM, Transformer)。
识别深度学习
19
动作识别实战
使用OpenMMLab或MediaPipe实现简单动作识别 (挥手、跳跃)。
实战分类
20
遮挡处理与深度补全
数据插值、物理约束、深度补全。
遮挡补全
21
深度相机标定
相机内参标定、外参标定 (手眼标定)。
标定内外参
22
点云配准
ICP算法、NDT算法。用于多视角融合。
配准ICP
23
基于深度学习的3D姿态估计
SimpleBaseline、HRNet、VideoPose3D。
深度学习3D
24
模型训练与部署
数据集准备 (Human3.6M, MPI-INF-3DHP)、模型训练、ONNX导出。
训练部署
25
动作捕捉在Unity/Unreal中的应用
实时驱动虚拟角色。
游戏引擎虚拟角色
26
动作捕捉在机器人中的应用
遥操作、模仿学习。
机器人遥操作
27
动作捕捉在医疗康复中的应用
步态分析、康复训练评估。
医疗康复
28
性能优化
多线程、GPU加速、模型量化。
优化加速
29
项目实战（一）
搭建一个实时全身动作捕捉系统。
实战全身
30
项目实战（二）
基于动作捕捉的虚拟现实交互应用。
VR交互