从零上手 RLHF 实战入门 · 课程目录

📚 点击卡片跳转对应章节 · 从全景到实战

共 30 章 · 完整目录

01RLHF全景图

什么是RLHF、为什么需要RLHF、三大核心组件（语言模型、奖励模型、强化学习算法）、典型应用场景。

Python环境搭建、PyTorch安装、Hugging Face Transformers库安装、TRL库安装、GPU环境配置与验证。

监督学习与强化学习的区别、策略与价值函数、奖励信号与回报、PPO算法核心思想。

04语言模型基础

自回归语言模型原理、GPT系列模型架构、从预训练到指令微调、Hugging Face模型加载与推理。

🤖 语言模型

05奖励模型原理

为什么需要奖励模型、训练数据构建、训练目标、评估指标。

🏅 奖励模型

06奖励模型实战

使用GPT-2作为基座模型、构建对比训练数据、训练简单奖励模型、推理与打分。

07PPO算法详解

Clipped Surrogate Objective、价值函数与优势函数估计、GAE、PPO更新流程。

TRL库整体架构、SFTTrainer、PPOTrainer、RewardTrainer的使用。

09SFT监督微调实战

准备指令微调数据集、使用SFTTrainer微调GPT-2、模型保存与加载、生成效果对比。

10RLHF完整流程 (上)

数据准备阶段、奖励模型训练阶段、策略模型初始化。

11RLHF完整流程 (下)

PPO训练循环、奖励与KL散度平衡、模型收敛判断、最终评估。

12数据集构建

开源RLHF数据集介绍(Anthropic HH, OpenAI Summarize)、数据格式转换、自定义数据集构建。

13奖励模型进阶

基于BERT/LLaMA的奖励模型、过拟合问题、奖励黑客(Reward Hacking)现象。

14PPO训练技巧

学习率调度、Batch Size选择、KL惩罚系数调优、梯度裁剪与累积。

自动评估(BLEU, ROUGE, Perplexity)、人工评估、A/B测试、结果分析。

16RLHF的变体

DPO原理、DPO vs PPO、IPO、KTO (Kahneman-Tversky Optimization)。

DPO损失函数实现、DPOTrainer训练、效果对比、优缺点分析。

18RLHF中的对齐问题

什么是对齐、有害内容过滤、偏见消除、安全性评估。

19RLHF的工程化

分布式训练(DeepSpeed, FSDP)、模型量化(GPTQ, AWQ)、推理加速(vLLM, TGI)。

20对话系统应用

对话数据构建、多轮奖励建模、策略优化、ChatGPT的RLHF流程。

21文本摘要应用

摘要数据构建、质量评估、奖励模型设计、OpenAI Summarize案例。

22代码生成应用

代码数据构建、正确性评估、奖励模型设计、Codex的RLHF。

23图像生成应用

文本到图像对齐、CLIP作为奖励模型、DALL-E RLHF流程。

24RLHF的局限性

奖励模型偏差、分布外泛化、训练不稳定性、计算资源消耗。

25RLHF的未来方向

多模态RLHF、在线RLHF、自对弈RLHF、弱到强泛化。

26开源RLHF项目解读

DeepSpeed Chat、ColossalChat、OpenAssistant、TRL。

27RLHF论文精读 (上)

InstructGPT论文、Training language models to follow instructions。

28RLHF论文精读 (下)

Constitutional AI、Direct Preference Optimization。

29综合实战项目 (一)

从零构建对话助手的RLHF流程。

30综合实战项目 (二)

模型部署与API封装、性能优化、项目总结与展望。