🚀 从零搭建RLHF训练流水线
30章 · 完整目录
🌟 友好色系
01
RLHF全景图
概览
什么是RLHF · 三阶段SFT→RM→PPO · 典型应用
02
环境准备
工具
Python虚拟环境 · PyTorch/Transformers · DeepSpeed/TRL · GPU估算
03
基础模型选择
选型
基座 vs 指令模型 · LLaMA/Qwen/Mistral · 下载与Tokenizer
04
数据集构建（上）
数据
Prompt设计 · 开源偏好数据集 · 清洗与标准化
05
数据集构建（下）
数据
自定义偏好数据 · 质量评估 · 增强与存储优化
06
SFT阶段（上）
SFT
监督微调原理 · 数据格式 · 交叉熵Loss · 训练脚本
07
SFT阶段（下）
SFT
超参数调优 · 过拟合处理 · 断点续训 · 模型评估
08
Reward Model原理
RM
偏好建模 · Bradley-Terry · Rank Loss · 输入输出
09
RM训练（上）
RM
对比数据集 · 模型架构 · 训练脚本编写
10
RM训练（下）
RM
正则化/标签平滑 · 评估指标 · 过拟合问题
11
PPO算法原理（上）
PPO
强化学习回顾 · Clipped Surrogate Objective
12
PPO算法原理（下）
PPO
Actor-Critic · GAE · KL散度 · 损失函数
13
PPO训练实现（上）
PPO
PPOTrainer · 超参数 · Actor/Critic初始化
14
PPO训练实现（中）
PPO
训练循环 · Reward Normalization · 经验回放
15
PPO训练实现（下）
PPO
Adaptive KL · 梯度裁剪 · 混合精度 · 稳定性监控
16
RLHF全流程整合
流水线
SFT→RM→PPO脚本 · 数据流 · 模型版本管理
17
分布式训练基础
分布式
DDP/TP/PP · ZeRO-1/2/3 · DeepSpeed配置
18
大规模训练优化
优化
Gradient Checkpointing · Flash Attention · 序列并行
19
训练监控与日志
监控
Wandb/TensorBoard · Loss & Reward曲线分析
20
模型评估与对齐度量
评估
BLEU/ROUGE/GPT-4打分 · 人工评估 · 对齐税检测
21
RLHF变体与改进
进阶
DPO · KTO · IPO · 各方法优劣对比
22
多轮对话中的RLHF
对话
上下文管理 · 多轮Reward · PPO适配
23
代码生成场景RLHF
代码
代码偏好数据 · 执行反馈 · 安全约束 · 单元测试
24
安全与伦理对齐
安全
红队测试 · 有害过滤 · Reward Hacking防御
25
模型部署与推理优化
部署
ONNX/TensorRT · 量化GPTQ/AWQ · vLLM · 服务化
26
持续学习与模型更新
迭代
在线RLHF · 数据漂移 · 增量训练 · 回滚机制
27
成本控制与资源规划
成本
GPU算力FLOPs · 存储/标注成本 · 云服务选型
28
开源工具链深度解析
工具
TRL源码 · DeepSpeed Chat · ColossalAI · OpenRLHF
29
实战项目·对话助手（上）
实战
需求分析 · 数据准备 · SFT训练
30
实战项目·对话助手（下）
实战
RM训练 · PPO训练 · 评估与迭代优化