三维视觉在AR/VR中的应用开发

📚 共计 30 章节
01
AR/VR概述
增强现实(AR)与虚拟现实(VR)的定义、区别与联系;三维视觉核心作用;主流硬件设备(HoloLens、Quest、Apple Vision Pro)。
概念硬件
02
三维空间基础
坐标系(世界、相机、图像);刚体变换(旋转、平移、缩放);四元数与欧拉角。
数学坐标系
03
相机模型与标定
针孔相机模型;内参/外参矩阵;张正友标定法原理与实现。
标定相机
04
特征点提取与匹配
SIFT、SURF、ORB特征点;暴力匹配/FLANN;RANSAC剔除误匹配。
特征匹配
05
对极几何与基础矩阵
对极约束;本质矩阵与基础矩阵;八点法求解。
几何矩阵
06
三角测量与深度估计
三角测量原理;双目立体视觉;深度图生成。
深度立体
07
PnP问题与位姿估计
PnP定义;EPnP、DLT算法;BA优化。
位姿优化
08
SLAM技术入门
SLAM概念与框架;前端视觉里程计;后端优化与回环检测。
SLAM定位
09
ORB-SLAM3实战
系统架构;单目/双目/RGBD模式;代码结构解析。
实战ORB
10
三维重建基础
点云数据格式;点云滤波与降采样;ICP点云配准。
点云重建
11
NeRF与神经渲染
NeRF原理;体素渲染;Instant-NGP与3D Gaussian Splatting简介。
神经渲染NeRF
12
AR中的光照估计
环境光照模型;基于图像的光照(IBL);实时阴影生成。
光照AR
13
手势识别与交互
手部关键点检测;手势分类;Leap Motion/MediaPipe交互。
手势交互
14
眼球追踪技术
眼球模型;瞳孔检测;注视点估计;VR应用。
眼球VR
15
空间锚点与平面检测
ARCore/ARKit平面检测;空间锚点持久化;碰撞检测。
锚点平面
16
Unity 3D基础
场景搭建;材质与光照;C#脚本基础。
UnityC#
17
Unity AR Foundation
AR Session与Origin;平面检测与点云可视化;AR光线投射。
ARFoundation
18
Unity XR Interaction Toolkit
交互器与可交互对象;传送移动;抓取与放置。
XR交互
19
Unreal Engine 5基础
蓝图系统;Niagara粒子系统;VR模板解析。
UE5蓝图
20
UE5 OpenXR插件
OpenXR标准;手柄输入绑定;HMD定位。
OpenXRUE5
21
WebXR与Three.js
WebXR API;Three.js AR/VR模式;跨平台部署。
WebXRThree.js
22
移动端AR开发(ARCore)
ARCore核心能力;云锚点;增强图像。
ARCore移动
23
移动端AR开发(ARKit)
ARKit核心能力;面部追踪;RealityKit。
ARKitiOS
24
VR中的UI设计
3D UI与2D UI;射线交互;空间菜单设计。
UIVR
25
性能优化
渲染优化(LOD、遮挡剔除);CPU优化(多线程);功耗管理。
优化性能
26
多模态融合
视觉+惯性导航(VIO);视觉+语音交互;视觉+触觉反馈。
多模态融合
27
数字人技术
MetaHuman创建;面部动画驱动;语音驱动口型。
数字人MetaHuman
28
AR云与协作
共享空间锚点;多人AR体验;Cloud Anchors。
协作
29
测试与调试
XR模拟器;性能分析工具(RenderDoc、Xcode Instruments);用户测试。
测试调试
30
综合项目实战
需求分析;架构设计;核心功能实现;发布与维护。
项目实战