激光雷达点云语义分割与场景理解

📚 共计 30 章节
01
课程导论
激光雷达点云语义分割与场景理解概述、应用领域(自动驾驶、机器人、智慧城市)、课程目标与学习路径。
概述应用路径
02
激光雷达基础
激光雷达工作原理(ToF、FMCW)、机械式与固态激光雷达、常见传感器(Velodyne、Ouster、Livox)介绍。
ToFFMCW传感器
03
点云数据基础
点云数据结构(XYZI、XYZRGB)、点云文件格式(PCD、LAS、PLY)、点云可视化工具(CloudCompare、Open3D)。
格式可视化
04
点云预处理(上)
体素滤波降采样、统计滤波去噪、半径滤波去噪。
降采样去噪
05
点云预处理(下)
点云配准(ICP、NDT)、点云坐标系变换、地面点云分割(RANSAC平面拟合)。
配准RANSAC
06
点云特征提取
点云法向量估计、曲率计算、FPFH、关键点检测(ISS、SIFT3D)。
法向量FPFH关键点
07
传统点云分割方法
区域生长分割、欧几里得聚类分割、基于模型的分割(RANSAC)。
区域生长聚类
08
深度学习基础(上)
神经网络基础、卷积神经网络(CNN)原理、感受野与池化。
CNN池化
09
深度学习基础(下)
RNN与序列建模、注意力机制与Transformer、损失函数与优化器。
Transformer注意力
10
点云深度学习概述
点云稀疏性与无序性、三大流派(投影法、体素法、点基法)。
流派无序性
11
基于投影的方法(上)
多视图投影(MVCNN)、球面投影(RangeNet++)、鸟瞰图投影(BirdNet)。
MVCNNRangeNet++
12
基于投影的方法(下)
SqueezeSeg系列(V1/V2/V3)、RangeDet、投影法优缺点分析。
SqueezeSegRangeDet
13
基于体素的方法(上)
3D卷积与稀疏卷积、VoxelNet架构详解、特征编码层与中间卷积层。
VoxelNet稀疏卷积
14
基于体素的方法(下)
SECOND(稀疏卷积加速)、PointPillars、CenterPoint。
PointPillarsCenterPoint
15
基于点的方法(上)
PointNet架构详解(T-Net、最大池化)、PointNet++(分层特征学习、MSG/MRG)。
PointNetPointNet++
16
基于点的方法(中)
PointCNN(X-Conv)、KPConv(核点卷积)、PointConv(连续卷积)。
KPConvPointCNN
17
基于点的方法(下)
RandLA-Net(随机采样与局部特征聚合)、Point Transformer、PointNeXt。
RandLA-NetTransformer
18
语义分割经典模型(一)
PointNet++ for Semantic Segmentation、PointCNN、KPConv for 语义分割。
PointNet++KPConv
19
语义分割经典模型(二)
RandLA-Net(大场景分割)、Cylinder3D、SPVNAS(稀疏卷积与NAS)。
Cylinder3DSPVNAS
20
语义分割经典模型(三)
MinkowskiEngine、SalsaNext、PolarNet(极坐标表示)。
MinkowskiPolarNet
21
实例分割与全景分割
实例分割(PointGroup、HAIS)、全景分割(Panoptic-PolarNet、EfficientLPS)。
PointGroup全景
22
场景理解与目标检测
3D目标检测(PointRCNN、Voxel-RCNN)、多模态融合、BEV感知(BEVFormer、LSS)。
BEV多模态
23
时序点云处理
点云流数据、时序融合(LSTM/注意力)、运动补偿与光流估计(FlowNet3D)。
光流时序
24
数据集与评估指标
SemanticKITTI、nuScenes、Waymo、S3DIS、Semantic3D;mIoU、OA、mAcc。
KITTImIoU
25
模型训练与优化
数据增强(旋转、缩放、Mix3D)、学习率调度、分布式训练、混合精度训练。
增强混合精度
26
模型部署与加速
模型量化(INT8/FP16)、TensorRT加速、ONNX导出、嵌入式平台(Jetson、Edge TPU)。
TensorRT量化
27
实战项目(一)
基于Open3D的点云预处理与可视化实战。
Open3D实战
28
实战项目(二)
基于PyTorch的PointNet++语义分割实战(SemanticKITTI)。
PyTorchPointNet++
29
实战项目(三)
基于MinkowskiEngine的稀疏卷积语义分割实战。
MinkowskiEngine稀疏卷积
30
课程总结与前沿展望
知识体系回顾、前沿方向(大模型、自监督学习、NeRF与点云融合)、学习资源推荐。
大模型NeRF自监督