视觉SLAM动态环境鲁棒性增强

📚 共计 30 章节

课程导论与问题定义

为什么动态环境是SLAM的噩梦？动态物体分类（刚性/非刚性/低动态/高动态），鲁棒性评估指标（ATE/RPE/成功率）。

经典SLAM系统回顾

ORB-SLAM3、VINS-Mono、DROID-SLAM核心流程回顾，动态场景下的局限性分析。

动态环境数据集与评测基准

TUM RGB-D Dynamic、KITTI Dynamic、Bonn Dynamic等数据集介绍，构建自己的动态测试集。

数据集评测

运动一致性检测基础

基于光流（Lucas-Kanade、Farneback）的运动场分析，区分相机自身运动与物体独立运动。

光流运动场

几何约束法剔除动态点

基于对极几何（基础矩阵F、本质矩阵E）的极线约束，Sampson距离判断动态外点。

对极几何外点剔除

基于深度学习的语义分割

Mask R-CNN、YOLO系列、SegFormer等网络在SLAM中的应用，语义先验融入前端。

语义分割深度学习

实例分割与动态物体掩码

使用Mask R-CNN或YOLACT生成动态物体（人、车）掩码，在特征提取阶段直接过滤。

实例分割掩码

光流与语义融合策略

语义分割结果作为先验，引导光流计算，减少动态区域对光流估计的干扰。

光流语义融合

基于场景流的动态检测

场景流（Scene Flow）概念，使用RAFT-3D或FlowNet3D估计稠密场景流，检测非刚性运动。

场景流非刚性

多视图几何与动态一致性

利用多帧之间的三角化一致性，检测并剔除不同视角下深度不一致的动态点。

多视图三角化

基于概率图模型的动态推理

构建贝叶斯网络或条件随机场（CRF），融合运动概率与语义概率进行联合推断。

动态物体的跟踪与重识别

对检测到的动态物体进行短时跟踪（SORT/DeepSORT），避免同一物体在不同帧重复误判。

动态环境下的初始化策略

存在动态物体的场景下稳健初始化（5点法+RANSAC，过滤动态匹配）。

初始化RANSAC

鲁棒的特征匹配

使用GMS（Grid-based Motion Statistics）或AdaLAM等算法，提升动态场景下匹配内点率。

特征匹配GMS

动态环境下的关键帧选择

避免选择包含大量动态物体的帧作为关键帧，设计动态物体占比的惩罚函数。

关键帧惩罚函数

局部建图与动态点管理

在局部地图中维护动态点的生命周期，长时间未观测到的动态点标记并移除。

局部地图生命周期

动态环境下的回环检测

使用NetVLAD或DenseVLAD进行全局描述子检索，避免动态物体干扰回环候选筛选。

回环检测NetVLAD

动态环境下的图优化

Bundle Adjustment中引入动态点的鲁棒核函数（Huber、Cauchy），降低动态误差影响。

图优化鲁棒核函数

基于IMU与动态检测的融合

利用IMU预积分预测运动，与视觉动态检测结果进行松耦合或紧耦合，提升动态判别准确性。

动态环境下的稠密建图

动态物体移除后的静态区域进行TSDF或NeRF重建，生成干净的静态地图。

稠密建图TSDF

基于NeRF的动态场景分解

使用D-NeRF或K-Planes将场景分解为静态场和动态场，分别进行重建与定位。

NeRF动态分解

基于高斯泼溅（3DGS）的动态处理

将3D高斯泼溅扩展到动态场景，通过时间属性建模动态物体的运动轨迹。

3DGS高斯泼溅

端到端动态SLAM

基于Transformer的端到端架构（如DROID-SLAM改进），在特征空间学习动态与静态分离。

端到端Transformer

自监督动态检测

利用时序一致性作为监督信号，无需动态物体标注，训练网络自动检测动态区域。

自监督时序一致性

动态环境下的多传感器融合

LiDAR、毫米波雷达与视觉结合，利用LiDAR几何精度辅助视觉动态检测。

多传感器LiDAR

动态环境下的语义地图构建

构建包含静态结构、动态物体轨迹、语义标签的层次化地图，用于高级决策。

语义地图层次化

动态SLAM在自动驾驶中的应用

城市道路场景，处理行人、车辆、骑行者等动态障碍物的具体工程实践。

自动驾驶工程实践

动态SLAM在服务机器人中的应用

家庭、商场等场景下，处理人机交互、移动家具等动态挑战。

服务机器人人机交互

动态SLAM在AR/VR中的应用

混合现实场景下，处理手持设备抖动与周围动态物体的实时定位与遮挡处理。

AR/VR遮挡处理

前沿趋势与未来挑战

基于事件相机的动态SLAM、生成式模型（扩散模型）用于动态补全、大模型（VLM）辅助动态理解。

事件相机大模型