📚 RLHF · 评估与迭代
🎯 30章 完整目录
⭐
友好 · 活泼色彩
01
RLHF概述
核心三要素
人类反馈
奖励模型
强化学习
什么是RLHF · 发展历程
02
人类反馈数据收集
标注平台
比较/排序/评分
质量控制
数据收集平台设计 · 标注者管理
03
奖励模型基础
Transformer
架构设计
训练数据构建
奖励模型的作用
04
奖励模型训练
Pairwise Loss
损失函数
训练流程
泛化
过拟合与泛化问题
05
奖励模型评估
验证集
准确率
一致性
陷阱
验证集设计 · 案例分析
06
强化学习基础回顾
PPO
策略梯度
价值函数
PPO算法 · 优势函数
07
PPO在RLHF中的应用
Actor-Critic
KL散度
结合方式
Actor-Critic架构
08
RLHF训练流程详解
三阶段
SFT
RM
RL微调
阶段衔接 · 数据流转
09
超参数调优
KL系数
学习率
PPO clip
batch size
影响分析
10
稳定性问题
崩溃&黑客
训练崩溃
Reward Hacking
模式坍塌 · 应对策略
11
评估方法论概述
自动/人工
在线评估
离线评估
评估维度定义
12
自动评估指标
BLEU/ROUGE
Perplexity
BERTScore
适用性分析
13
人工评估体系
有用·诚实·安全
评分者信度
成本控制
评估标准制定
14
对抗性评估
红队测试
Red Teaming
安全边界
对抗性提示设计
15
评估数据集构建
通用/领域
动态维护
更新
通用评估集 · 领域特定
16
迭代策略设计
反馈闭环
版本管理
回滚机制
基于评估结果的迭代框架
17
数据迭代
难例挖掘
错误分析
数据增强
数据分布调整
18
模型迭代
增量/融合
增量训练
知识蒸馏
模型融合
19
奖励模型迭代
漂移检测
重训练
多模型集成
奖励模型漂移检测
20
策略迭代
探索与利用
多样性保持
人类反馈修正
探索与利用平衡
21
多轮对话RLHF
长期奖励
对话历史
上下文一致性
长期奖励设计
22
多任务RLHF
共享奖励
任务特定策略
冲突权衡
任务冲突与权衡
23
可扩展性
分布式训练
数据并行
模型并行
通信开销优化
24
伦理与安全
偏见·隐私
偏见检测
隐私保护
滥用风险防范
25
开源工具与框架
TRL
DeepSpeed Chat
RL4LMs
ColossalChat 使用对比
26
案例分析
InstructGPT
ChatGPT
Claude
RLHF实践与经验总结
27
RLHF的局限性
反馈依赖
奖励模型偏差
长尾问题
对反馈质量的依赖
28
前沿进展
DPO/KTO
Direct Preference
SPIN
替代方法
29
评估与迭代自动化
Auto-RLHF
自动化流水线
CI/CD
持续集成与部署
30
综合实战项目
全流程
数据收集
模型训练
评估迭代
从零构建RLHF评估迭代系统