01
课程导论：为什么需要混合策略？
PID的局限与RL的潜力，课程目标与学习路径。
导论动机
02
经典PID控制理论
P、I、D参数的含义与作用，数学表达，位置式与增量式PID。
基础PID
03
PID参数整定方法
Ziegler-Nichols法、试凑法、衰减曲线法，现场经验法则。
整定实用
04
强化学习基础
马尔可夫决策过程(MDP)，状态、动作、奖励，策略与价值函数。
RLMDP
05
Q-Learning算法
Q表更新公式，ε-贪婪策略，离散动作空间，小车爬坡示例。
Q表离散
06
深度Q网络（DQN）
为什么需要神经网络？经验回放与目标网络，连续状态空间。
DQN神经网络
07
策略梯度方法
REINFORCE算法，Actor-Critic架构，连续动作空间。
策略梯度Actor-Critic
08
PPO算法详解
裁剪目标函数，信任区域约束，稳定训练技巧。
PPO稳定
09
混合策略动机分析
PID鲁棒性 vs RL自适应性，何时融合？三种典型架构。
融合架构
10
架构一：RL在线调参PID（增益调度）
原理讲解，状态定义(误差、误差积分)，动作定义(ΔKp, ΔKi, ΔKd)。
增益调度调参
11
架构一实战：基于PyTorch的RL调参器
与Simulink/Python仿真环境联调，代码实现。
PyTorch联调
12
架构二：RL补偿PID输出
RL作为前馈/反馈补偿器，处理非线性扰动。
补偿前馈
13
架构二实战：倒立摆RL补偿控制
代码实现与效果对比，非线性扰动抑制。
倒立摆补偿
14
架构三：PID与RL切换/混合逻辑
基于置信度或性能指标的切换，安全冗余设计。
切换冗余
15
架构三实战：无人机悬停混合切换
仿真与实物验证，安全冗余策略。
无人机悬停
16
奖励函数设计艺术
稀疏奖励 vs 密集奖励，引导性奖励，避免奖励黑客。
奖励设计
17
状态空间设计
观测变量选择，归一化与特征工程，时序信息(LSTM/历史窗口)。
状态LSTM
18
动作空间约束
安全边界，动作平滑惩罚项，防止RL输出剧烈抖动。
安全平滑
19
仿真环境搭建
Gym/Gymnasium自定义环境，ODE求解器，实时可视化。
Gym仿真
20
训练稳定性问题
梯度爆炸/消失，奖励震荡，超参数调优(学习率、batch size)。
稳定性调优
21
迁移学习与域随机化
仿真到实物鸿沟，域随机化技巧，Sim2Real实战。
Sim2Real迁移
22
硬件在环（HIL）测试
部署到嵌入式控制器，实时性要求与优化。
HIL嵌入式
23
案例一：四足机器人腿部力控
PID力控 + RL步态优化，混合策略落地效果。
四足力控
24
案例二：机械臂柔顺装配
力位混合控制，RL学习装配策略，PID保证基础跟踪。
机械臂装配
25
案例三：自动驾驶横向控制
PID底层执行器，RL学习弯道预瞄策略。
自动驾驶横向
26
案例四：无人机抗风扰控制
PID内环姿态稳定，RL外环自适应补偿。
抗风扰无人机
27
评估与对比方法论
累计奖励、跟踪误差、能耗、鲁棒性测试，统计显著性检验。
评估对比
28
部署与工程化
模型量化、ONNX导出、C++部署，TensorRT Lite。
部署ONNX
29
前沿与展望
元学习+ PID，基于模型的RL(MBRL)，安全RL。
前沿MBRL
30
课程总结与项目实战
完整项目流程回顾，学员自主选题指导，资源推荐。
总结实战