异构传感器数据融合工程落地实战 - 课程目录

课程导论与工程全景 🚀 开篇

异构传感器融合定义 · 为什么融合 · 自动驾驶/机器人/IoT · 工程落地方法论

传感器基础与选型 📡 硬件

IMU/摄像头/激光雷达/毫米波/超声波/温湿度/气压计 · 关键指标 · 选型原则

传感器标定技术 🔧 标定

内参标定(IMU六面法/棋盘格) · 外参标定(手眼/激光-相机) · 标定工具与流程

数据预处理与同步 ⏱️ 同步

时间戳对齐(硬件vs软件) · 空间对齐 · 滤波(均值/中值/卡尔曼) · 异常值处理

坐标系统与变换 🗺️ 坐标

世界系/机体系/传感器系 · 欧拉角与四元数 · 旋转矩阵 · 齐次变换 · TF树

状态估计基础 📐 数学

高斯分布/协方差 · 贝叶斯滤波 · 最小二乘 · 最大似然估计

卡尔曼滤波(KF)原理与实现 🔬 滤波

线性系统模型 · 预测与更新 · Python/C++实现 · 调参经验

扩展卡尔曼滤波(EKF)实战 ⚡ 进阶

非线性系统线性化 · 雅可比矩阵 · IMU+GPS融合应用

UKF与粒子滤波(PF) 🌀 无迹

UKF Sigma点 · PF重要性采样/重采样 · 适用场景对比

多传感器融合架构设计 🏗️ 架构

集中/分布/混合式 · 数据级/特征级/决策级 · 工程选型建议

IMU+GPS融合导航 🛰️ 导航

松耦合vs紧耦合 · INS/GPS组合导航 · EKF融合 · RTK/差分GPS

视觉+IMU融合(VIO) 👁️ VIO

视觉里程计 · IMU预积分 · VINS-Mono/Fusion · 工程部署

激光雷达+IMU融合(LIO) 📡 LIO

LOAM/LIO-SAM · 点云配准(ICP/NDT) · IMU辅助去畸变

视觉+激光雷达融合 🚗 融合

目标检测融合(2D+3D) · BEV感知 · Camera-Lidar网络简介

多传感器融合SLAM 🗺️ SLAM

图优化/因子图 · g2o/Ceres · ORB-SLAM3/LIO-SAM

传感器故障检测与容错 🛡️ 安全

残差检测 · 卡方检验 · 一致性检验 · 故障隔离与重构

数据关联与匹配 🔗 关联

最近邻(NN) · JPDA · 匈牙利算法 · 多目标跟踪关联

融合系统中的时间管理 ⏳ 时间

时间戳管理 · 延迟补偿 · 预测与插值 · ROS2时间机制

嵌入式平台部署优化 ⚙️ 部署

ARM/x86 · NEON/SSE加速 · 定点化/浮点化 · 内存管理

实时性与性能分析 📊 性能

延迟/吞吐量/抖动 · perf/gprof · 性能调优案例

通信中间件与数据分发 📨 通信

ROS2 DDS · ZeroMQ · 共享内存 · Protobuf/FlatBuffers

融合系统测试与验证 🧪 测试

单元/集成测试 · HIL/SIL · 数据集回放 · MIL/SIL/HIL

开源框架与工具链 🧰 工具

ROS2/Apollo/Autoware/PX4 · ETHZ ASL · Eigen/Sophus

融合系统调试与可视化 👀 可视化

Rviz/Foxglove/PlotJuggler · 日志系统 · 数据回放调试

安全性与可靠性设计 🔒 安全

功能安全ISO 26262 · 冗余设计 · 降级策略 · 安全通信

行业案例1：自动驾驶 🚗 案例

Waymo/Tesla/华为多传感器融合方案对比

行业案例2：服务机器人 🤖 案例

扫地机/配送机器人/仓储AGV融合导航

行业案例3：无人机与AR/VR ✈️ 案例

VIO/UWB+IMU/视觉惯性融合定位

融合系统性能评估指标 📈 评估

ATE/RPE · RMSE · NIS · 一致性 · 鲁棒性测试

课程总结与工程落地指南 🎯 收官

开发流程 · 常见坑点 · 学习路径 · 未来趋势(学习型/端到端融合)