RLHF 在对话系统中的落地应用 · 课程目录

01

RLHF概述：从监督学习到强化学习

为什么需要RLHFSFTReward ModelPPO三阶段

02

对话数据准备

多轮/单轮格式数据清洗质量评估

03

SFT（监督微调）基础

目标与原理LLaMA/ChatGLM损失函数

04

SFT实战：LoRA / QLoRA

LoRAQLoRA训练脚本参数调优

05

SFT数据构建

指令数据对话模板System/User Prompt多轮拼接

06

Reward Model 原理

为什么需要RM训练目标chosen/rejected

07

Reward Model 实战

网络结构Pairwise Ranking Loss训练技巧

08

PPO（近端策略优化）原理

Actor-Critic优势函数Clip机制

09

训练流程拆解Reward归一化KL散度

10

RLHF完整训练流程

SFT→RM→PPO资源估算问题排查

11

对话系统架构设计

NLU/DST/Policy/NLGRLHF位置端到端 vs 模块化

12

对话状态追踪 (DST)

规则/模型DST与RLHF结合

13

对话策略学习

规则/强化学习策略策略网络动作空间

14

自然语言生成 (NLG)

模板 vs 模型质量评估RLHF提升

15

多轮对话中的RLHF

奖励设计历史编码长上下文记忆机制

16

RLHF中的奖励设计

稀疏性过程/结果奖励Reward Shaping多目标

17

RLHF中的稳定性问题

梯度爆炸/消失Reward Hacking对抗样本

18

RLHF评估体系

BLEU/ROUGE/Perplexity人工评估A/B测试

19

RLHF与人类反馈的迭代

在线/离线学习主动学习冷启动

20

RLHF中的安全与对齐

价值观对齐有害过滤红队测试RL from AI Feedback

21

RLHF工程化部署

vLLM/TGI推理优化延迟/吞吐量

22

RLHF数据管道建设

采集/标注平台质量控制版本管理

23

RLHF训练平台建设

DeepSpeed/Megatron分布式/混合精度Checkpoint

24

RLHF在客服场景的应用

意图识别情感感知转人工

25

RLHF在教育场景的应用

知识问答错题分析个性化辅导激励设计

26

RLHF在医疗场景的应用

症状询问诊断建议隐私安全

27

RLHF在金融场景的应用

产品推荐风险评估合规检查

28

RLHF的局限性与挑战

数据偏差奖励过拟合可解释性资源消耗

29

RLHF前沿进展

DPOKTOGRPOInstructGPT→ChatGPT

30

RLHF未来展望

多模态RLHF持续学习自监督AGI之路