🚗 英伟达自动驾驶感知系统实战
30章 · 从入门到部署
📍 Drive AGX Orin
30个实战章节
01
课程导论与硬件平台
英伟达自动驾驶整体方案概览
Drive AGX Orin
传感器配置
开发环境搭建
JetPack/CUDA
进入章节
02
感知系统基础
功能定义 · 软件栈位置
感知模块定位
评价指标
mAP/IoU
FPS/延迟
进入章节
03
图像处理与CUDA加速
去畸变 · 直方图均衡化
CUDA编程基础
图像卷积加速
NPP库
进入章节
04
2D目标检测（一）
YOLOv8原理 · 部署
Backbone/Neck/Head
TensorRT优化
Drive AGX部署
进入章节
05
2D目标检测（二）
BEVFormer · Transformer
端到端检测
Orin部署挑战
优化策略
进入章节
06
3D目标检测（一）
PointPillars
点云预处理
体素化
Orin推理
进入章节
07
3D目标检测（二）
CenterPoint · 多模态融合
点云优化
Camera+LiDAR
3D检测方案
进入章节
08
语义分割
DeepLabV3+ · 车道线
TensorRT优化
可行驶区域
车道线分割
进入章节
09
实例分割
Mask R-CNN · 动态障碍物
Orin部署优化
动态障碍物检测
自动驾驶应用
进入章节
10
多目标跟踪MOT
SORT/DeepSORT
ReID特征提取
实时跟踪
Orin实现
进入章节
11
轨迹预测
LSTM/Transformer · Social-LSTM
轨迹预测模型
Orin部署
Social-LSTM
进入章节
12
深度估计
单目/双目 · LiDAR真值
MiDaS/DPT
双目深度
深度真值生成
进入章节
13
光流与运动估计
RAFT · TensorRT推理
光流算法
目标检测/跟踪
运动估计
进入章节
14
传感器融合（一）
时间/空间同步 · 标定
Camera/LiDAR联合标定
卡尔曼滤波
融合策略
进入章节
15
传感器融合（二）
BEV空间 · BEVFusion
BEV融合方案
Orin实现
BEVFusion原理
进入章节
16
模型量化与压缩
INT8 · PTQ/QAT
TensorRT量化
模型剪枝
知识蒸馏
进入章节
17
模型部署与推理优化
TensorRT C++/Python
多流推理
动态形状
DLA加速器
进入章节
18
端到端感知系统
完整Pipeline · NvMedia
硬件编解码加速
DLA+GPU异构
传感器数据流
进入章节
19
仿真与数据闭环
Omniverse Replicator
仿真数据生成
数据闭环系统
NVIDIA Omniverse
进入章节
20
模型训练与调优
分布式训练 · AMP
混合精度训练
学习率调度
正则化策略
进入章节
21
模型评估与可视化
DeepStream · Foxglove
评估工具
RViz
自定义评估脚本
进入章节
22
系统集成与调试
ROS2 · 延迟优化
规划控制接口
系统延迟分析
ROS2集成
进入章节
23
安全与冗余设计
ISO 26262 · 降级策略
功能安全
故障检测
冗余传感器
进入章节
24
边缘计算与车端部署
功耗优化 · DLA低功耗
车端部署挑战
功耗优化
低功耗推理
进入章节
25
多模态大模型在感知中
CLIP · LLaVA · 场景理解
视觉语言模型
自动驾驶探索
场景理解
进入章节
26
Occupancy Network
体素场景表示
Occupancy原理
Orin部署
体素表示
进入章节
27
在线地图构建
HD Map · LaneNet · MapTR
在线地图更新
SD Map区别
Orin实时构建
进入章节
28
极端场景感知
夜间/雨雾 · 鲁棒性训练
数据增强
传感器自清洁
抗干扰
进入章节
29
感知系统前沿技术
世界模型 · UniAD · 扩散模型
World Model
端到端自动驾驶
感知增强
进入章节
30
综合实战项目
完整感知系统搭建
数据采集到部署
系统调优
最终评估
进入章节