一、Carla与自动驾驶感知概述

大家好，我是这门课的主讲。在正式开始之前，我想先聊聊我自己的经历。几年前我刚接触自动驾驶仿真时，踩过不少坑——最头疼的就是在真实道路上调试感知算法，一个不小心就得重新跑数据。后来用了Carla，才真正体会到「仿真先行」的好处。今天这第一节课，咱们就来把Carla和自动驾驶感知这件事儿彻底聊透。

1.1 Carla仿真器简介

Carla是什么？说白了，它是一个开源的自动驾驶仿真平台。你可以在里面搭建城市、放上车辆和行人，然后让你的算法在虚拟世界里跑起来。我个人习惯把它叫做「自动驾驶的健身房」——你可以在里面反复练习，不用担心撞坏真车。

为什么选Carla？我总结了几点：

• 开源免费：代码全公开，想怎么改都行
• 传感器丰富：摄像头、激光雷达、毫米波雷达、GPS/IMU，一应俱全
• 场景可控：天气、光照、交通流，你说了算
• 接口友好：Python API 简单直接，上手快

嗯，这里要注意一点：Carla 对硬件有一定要求。我建议至少 8GB 显存的显卡，不然跑大场景会卡得怀疑人生。

1.2 自动驾驶感知任务概览

自动驾驶感知，说白了就是让车「看懂」周围的世界。它主要包含三个核心任务：目标检测、语义分割和深度估计。咱们一个一个说。

1.2.1 目标检测

目标检测是最基础的任务。你得让算法知道：前面那辆车在哪儿？那个行人离我多远？我在项目中遇到过最典型的问题——雨天场景下，检测器会把水坑误判成障碍物。后来怎么解决的？嗯，靠的是多传感器融合，这个后面会详细讲。

Carla 里做目标检测，通常用摄像头或激光雷达数据。你可以直接调用内置的检测器，也可以接入自己的模型。我个人建议先用 Carla 自带的 ground truth 数据来验证你的算法逻辑，再换真实模型。

1.2.2 语义分割

语义分割比目标检测更细。它把图像里的每个像素都分类——这是路面、这是天空、这是车辆。你想想看，如果车能知道每个像素是什么，那决策就精准多了。

我曾经在 Carla 里做过一个实验：只用语义分割结果来控制车辆转向。结果发现，在十字路口场景下，分割模型偶尔会把斑马线误判成路面。这个坑后来靠增加训练数据里的斑马线样本才填上。

1.2.3 深度估计

深度估计解决的是「距离」问题。单目摄像头怎么知道物体有多远？说白了就是靠几何关系和先验知识。Carla 提供了完美的深度真值，你可以用它来训练自己的深度估计网络。

我记得有一次，我在 Carla 里训练了一个单目深度模型，放到真实数据上效果差得离谱。后来发现是 Carla 的虚拟场景纹理太干净了，真实世界的噪声和光照变化完全没覆盖到。所以我的建议是：在 Carla 里做数据增强，模拟真实世界的各种干扰。

1.3 课程整体架构与学习路径

这门课一共 30 章，我把它分成了四个阶段。你跟着走就行，不用跳着学。

阶段	章节	核心内容
基础篇	第1-8章	Carla 环境搭建、Python API 入门、传感器配置、数据采集
算法篇	第9-18章	目标检测、语义分割、深度估计的模型训练与部署
实战篇	第19-25章	多传感器融合、端到端感知、实时性优化
进阶篇	第26-30章	场景泛化、对抗攻击、部署到真实硬件

我建议的学习路径是这样的：

1. 先跑通 Carla：花两天时间把官方示例跑一遍，别急着改代码
2. 理解数据流：搞清楚传感器数据怎么从 Carla 传到你的算法里
3. 从简单任务开始：先做目标检测，再做分割和深度估计
4. 逐步增加复杂度：从晴天到雨天，从单车道到十字路口

最后说一句：这门课不是让你背概念，而是让你动手。每一章我都会给出可运行的代码，你跟着敲一遍，比看十遍都管用。好了，第一章就到这里。下一章咱们开始搭建 Carla 环境，到时候记得把显卡驱动更新一下。