强化学习 & 多智能体系统

📘 30章 · 实战 TensorFlow

01 强化学习概述

发展史智能体/环境状态动作奖励vs监督学习应用场景

02TensorFlow环境搭建

TF 2.x安装GPU配置虚拟环境NumPy/GymMatplotlib

03马尔可夫决策过程

MDP四元组状态转移奖励函数折扣因子贝尔曼方程

04动态规划与策略迭代

策略评估策略改进策略迭代价值迭代Grid World

05蒙特卡洛方法

MC预测首次/每次访问MC控制探索性初始化On/Off-policy

06时序差分学习

TD(0)SARSAQ-LearningTD vs MCCliff Walking

07深度Q网络

DQN原理经验回放目标网络ε-贪婪Atari游戏

08DQN改进算法

Double DQNDueling DQNPERNoisy NetsRainbow

09策略梯度方法

REINFORCE策略梯度定理BaselineCartPole

10Actor-Critic方法

AC框架优势函数A2CGAE连续控制

11PPO算法

PPO原理Clipped SurrogatePPO-PenaltyMuJoCo

12SAC算法

最大熵RLSAC框架自动温度调节HalfCheetah

13DDPG与TD3

DDPG确定性策略梯度TD3改进双Q网络延迟更新

14多智能体系统概述

MAS定义合作/竞争/混合通信协调集中/分布式训练

15多智能体强化学习基础

MARL形式化联合状态/动作非平稳性部分可观测信用分配

16独立Q学习与Hysteretic Q

IQLHysteretic QLazy Agent合作任务

17VDN与QMIX

值分解VDNQMIX架构单调性约束SMAC环境

18MADDPG算法

MADDPG框架CTDE多智能体连续控制粒子环境

19COMA算法

反事实基线COMA架构信用分配协作任务

20多智能体通信学习

CommNetTarMACIC3NetGNN通信协议学习

21多智能体注意力机制

MADDPG+AttentionMAAC注意力可视化动态数量

22基于模型的MARL

世界模型MCTS多智能体想象学习Model-based vs free

23分层强化学习

HRL框架Option-CriticHIRO多智能体分层任务分解

24逆强化学习与模仿学习

IRL原理最大熵IRLGAIL多智能体模仿行为克隆

25多智能体探索与奖励塑形

探索-利用计数探索ICMRND奖励塑形

26多智能体对抗与博弈

零和博弈纳什均衡自我对弈League TrainingAlphaStar

27分布式多智能体训练

IMPALASEED RL分布式经验回放异步训练大规模MARL

28多智能体迁移学习与元学习

迁移学习基础多智能体迁移元强化学习MAML任务泛化

29多智能体安全与伦理

安全约束奖励劫持可解释性公平性鲁棒性

30综合项目实战

协作导航系统需求分析算法选型训练调优可视化部署