- 强化学习概述、策略梯度方法
- PPO的Clipped Surrogate目标函数
- 重要性采样原理
- Actor-Critic架构、GAE优势函数估计
- PPO的PyTorch代码实现（离散动作空间）
- 奖励模型训练
- PPO在LLM微调中的挑战（KL散度惩罚、奖励过拟合）
- 从Bradley-Terry模型到DPO损失函数
- DPO的数学推导、DPO vs PPO对比分析
- DPO的PyTorch实现、数据集构建（偏好对）
- 训练与评估、DPO的变体（IPO、KTO）
- 技术路线图、适用场景选择
- 未来趋势（GRPO、REINFORCE Leave-One-Out）
- Python虚拟环境、HuggingFace Transformers库
- Weights & Biases实验追踪
- 马尔可夫决策过程、贝尔曼方程
- Q-Learning与DQN
- REINFORCE算法、Baseline技巧
- Actor-Critic的直觉
- Clip范围的选取、自适应KL惩罚
- PPO的多种变体（PPO-Penalty, PPO-Clip）
- λ参数的调节、GAE与TD(λ)的关系
- 代码实现GAE
- Reward Model架构、训练损失
- 过拟合与正则化
- SFT模型初始化、Reference模型冻结
- PPO训练细节
- IPO（Identity Preference Optimization）
- KTO（Kahneman-Tversky Optimization）
- GRPO（Group Relative Policy Optimization）
- REINFORCE Leave-One-Out
- 对齐技术的未来、从RLHF到Constitutional AI
- 开源生态与社区贡献