多轮对话中的RLHF对齐方案 · 课程目录

01

RLHF基础概念强化学习·人类反馈

什么是强化学习、什么是人类反馈、RLHF在对话系统中的作用。

02

多轮对话的独特性上下文·一致性

上下文依赖性、长期一致性、用户意图追踪。

03

奖励模型设计单轮vs多轮

单轮 vs 多轮奖励建模、序列级奖励、片段级奖励。

04

偏好数据收集标注·众包

人类标注策略、众包平台选择、数据质量控制。

05

偏好数据清洗噪声·一致性

噪声过滤、标注者一致性检验、异常值处理。

06

Bradley-Terry模型成对比较

成对比较的数学原理、损失函数推导。

07

Plackett-Luce模型排序建模

排序数据的建模方法、与BT模型的对比。

08

奖励模型训练架构·技巧

模型架构选择、训练技巧、过拟合预防。

09

PPO算法原理策略梯度

策略梯度、重要性采样、裁剪机制。

10

PPO在对话中的应用状态·动作

状态空间定义、动作空间设计、奖励塑造。

11

DPO算法直接偏好优化

直接偏好优化的数学推导、实现细节。

12

DPO vs PPO 对比·场景

优缺点对比、适用场景分析、实践经验。

13

KTO算法 Kahneman-Tversky

Kahneman-Tversky优化、参考点选择。

14

迭代式RLHF 多轮对齐循环

多轮对齐循环、模型自我改进策略。

15

在线 vs 离线RLHF 数据·效率

数据收集方式、训练效率对比。

16

上下文奖励建模历史·长程

基于历史对话的奖励预测、长程依赖处理。

17

对话安全对齐拒绝·红队

拒绝回答机制、有害内容过滤、红队测试。

18

多目标对齐有用·诚实·无害

有用性、诚实性、无害性的平衡。

19

奖励黑客问题欺骗·捷径

奖励欺骗、捷径学习、对抗性样本。

20

KL散度约束防止漂移

防止策略漂移、保持模型基础能力。

21

参考模型策略冻结·动态

冻结参考模型、动态参考更新。

22

温度参数调优探索·利用

探索与利用的平衡、采样策略。

23

批量大小与学习率超参数影响

超参数对对齐效果的影响。

24

评估指标胜率·奖励

胜率、奖励分数、人工评估、自动化评估。

25

A/B测试框架在线评估

在线评估方法、用户满意度度量。

26

开源工具链 TRL·DeepSpeed

TRL、DeepSpeed Chat、ColossalChat实践。

27

小规模实验设计单轮→多轮

从单轮对话开始、逐步扩展到多轮。

28

生产环境部署服务·监控

模型服务化、延迟优化、监控告警。

29

前沿进展 Constitutional AI

Constitutional AI、Self-Play、Meta-RLHF。

30

未来趋势可扩展监督

可扩展监督、弱到强泛化、价值对齐理论。