01
课程导论与无人机基础
深度强化学习概览 · 无人机动力学基础 · 坐标系与状态表示
入门理论
02
Python与仿真环境搭建
Anaconda环境配置 · AirSim仿真器安装 · OpenAI Gym接口封装
环境工具
03
强化学习核心概念
马尔可夫决策过程 · 状态/动作/奖励设计 · 策略与值函数
基础MDP
04
Q-Learning与表格方法
Q表更新原理 · ε-贪婪策略 · 简单栅格环境无人机导航
经典表格
05
深度Q网络(DQN)入门
神经网络基础 · DQN算法原理 · 经验回放与目标网络
DQN深度
06
DQN在无人机避障中的应用
激光雷达状态输入 · 离散动作空间设计 · 奖励函数塑造
避障激光
07
策略梯度方法
REINFORCE算法 · 策略网络设计 · 与值函数方法对比
策略梯度
08
Actor-Critic架构
A2C/A3C算法原理 · 优势函数估计 · 连续控制应用
AC连续
09
PPO算法详解
近端策略优化 · 裁剪目标函数 · 稳定训练技巧
PPO稳定
10
SAC算法与最大熵强化学习
软策略迭代 · 温度参数自动调节 · 无人机悬停控制
SAC最大熵
11
无人机路径规划问题建模
起点/终点设定 · 障碍物环境表示 · 路径平滑度与能量约束
建模约束
12
基于DQN的2D静态路径规划
栅格地图构建 · 状态编码 · 训练与评估
2D栅格
13
基于PPO的3D静态路径规划
连续动作空间 · 三维坐标输出 · 避障与到达目标
3D连续
14
动态障碍物规避
环境感知与预测 · 动态窗口法结合DRL · 在线重规划策略
动态在线
15
多无人机协同路径规划
集中式与分布式训练 · 通信机制 · 碰撞避免
协同多机
16
基于课程学习的训练策略
课程难度设计 · 自动课程生成 · 加速收敛技巧
课程加速
17
奖励函数工程
稀疏奖励与密集奖励 · 势能函数引导 · 奖励分解与调参
奖励调参
18
状态表示与特征工程
原始传感器数据处理 · 坐标变换 · 历史轨迹编码
特征编码
19
模型结构与超参数调优
网络层数/神经元选择 · 学习率调度 · Batch Size影响
调优超参
20
训练稳定性与调试
奖励曲线分析 · 梯度爆炸/消失处理 · 模型保存与恢复
调试稳定
21
仿真到现实迁移
域随机化 · 系统辨识 · Sim2Real关键技术
Sim2Real迁移
22
基于视觉的路径规划
深度相机输入 · CNN特征提取 · 端到端视觉导航
视觉CNN
23
结合传统规划算法
A*与DRL混合 · RRT*与DRL引导 · 全局与局部规划融合
混合A*
24
无人机集群编队控制
编队保持 · 队形变换 · 基于DRL的分布式控制
编队集群
25
能量感知路径规划
电池模型 · 能耗预测 · 续航优化策略
能量续航
26
安全约束与合规飞行
地理围栏 · 禁飞区规避 · 安全强化学习
安全合规
27
多任务与迁移学习
共享特征提取 · 任务特定头网络 · 知识蒸馏
迁移多任务
28
模型部署与边缘计算
模型量化 · TensorRT加速 · 机载计算机推理
部署边缘
29
项目实战：城市环境无人机配送
需求分析 · 系统设计 · 完整训练流程
实战配送
30
课程总结与前沿展望
当前挑战 · 未来方向 · 学习资源推荐
总结前沿