RLHF 精讲 · 课程目录

RLHF 概述基础

什么是 RLHF？为什么需要 RLHF？与传统 RL 的区别

RLHF 核心组件模型

奖励模型、策略模型、参考模型

人类反馈数据收集数据

标注规范、质量把控、众包平台选择

奖励模型训练训练

数据准备、Pairwise Ranking Loss、训练技巧

PPO 算法基础算法

策略梯度回顾、重要性采样、Clip 机制

RLHF 中的 PPO 实现架构

Actor-Critic、KL 散度惩罚、Reward Normalization

参考模型与 KL 散度理论

为什么需要参考模型？KL 散度计算与作用

Reward Hacking 与正则化鲁棒

Reward Hacking 现象、Scaling、Clipping 解决方案

RLHF 训练流程流程

SFT 阶段、Reward Model 训练、RL 微调

SFT（监督微调）详解微调

数据构建、训练目标、常见问题

Prompt 与 Response 设计工程

Prompt 工程基础、Response 质量评估

偏好数据标注标注

Pairwise 标注、Ranking 标注、标注入门

奖励模型评估评估

准确率、一致性、泛化能力

策略模型初始化初始化

从 SFT 模型 / 预训练模型开始

RLHF 超参数调优调参

学习率、KL 系数、PPO 超参数

分布式训练基础分布式

数据并行、模型并行、ZeRO 优化

RLHF 分布式实现部署

Actor/Critic 分布式、Reward Model 推理

推理优化加速

KV Cache、Flash Attention、模型量化

RLHF 与 InstructGPT 论文

InstructGPT 论文精读、技术细节

RLHF 与 ChatGPT 应用

ChatGPT 中的 RLHF 应用、对齐技术

RLHF 与 Llama 系列开源

Llama 2 RLHF 实践、开源实现

RLHF 的局限性反思

奖励模型偏差、模式坍塌、训练不稳定

RLHF 的改进方向前沿

DPO、KTO、IPO 等新范式

DPO 算法详解对比

DPO 原理、DPO vs PPO、实现细节

RLHF 评估指标 3H

Helpfulness、Honesty、Harmlessness

RLHF 安全与伦理对齐

偏见消除、毒性控制、隐私保护

RLHF 工具与框架工具

TRL、DeepSpeed Chat、ColossalChat

RLHF 实战项目实战

基于 TRL 的 RLHF 训练流程

RLHF 前沿进展突破

Constitutional AI、Self-Rewarding、RLAIF

RLHF 未来展望未来

多模态 RLHF、持续学习、可解释性