什么是RLHF
为什么需要RLHF
发展历程与里程碑
点击进入 →
奖励模型
策略模型
强化学习基础(PPO)
点击进入 →
人类偏好数据收集
标注规范与质量控制
数据格式(对比对/排名)
点击进入 →
监督微调原理
SFT数据构建
SFT训练技巧
点击进入 →
奖励模型架构
Bradley-Terry损失
训练细节与调参
点击进入 →
PPO算法详解
Actor-Critic架构
KL散度惩罚/优势函数
点击进入 →
整体训练pipeline
迭代式训练
模型收敛判断
点击进入 →
数据并行/模型并行
ZeRO优化
混合精度训练
点击进入 →
自动评估(BLEU/ROUGE/GPT)
人工评估方案
点击进入 →
模型导出(ONNX/TensorRT)
推理优化(vLLM/TGI)
服务化部署
点击进入 →
对话历史处理
上下文长度控制
多轮奖励建模
点击进入 →
红队测试
安全奖励模型
拒绝回答机制
点击进入 →
TRL / DeepSpeed Chat
ColossalChat
Hugging Face生态
点击进入 →
GPU需求分析
显存估算
训练时间预估
点击进入 →
RLHF vs 传统RL
RLHF vs 指令微调
点击进入 →
标注者一致性
噪声鲁棒训练
主动学习
点击进入 →
RLHF + RLAIF
Self-Rewarding
Meta-Rewarding
点击进入 →