从GPT到ChatGPT，RLHF为什么是LLM对齐的关键？课程目标与前置知识概览。
Linux服务器配置、CUDA与PyTorch安装、Docker环境搭建、NVIDIA驱动验证。
Hugging Face TRL库介绍、安装与核心组件（PPOTrainer, RewardTrainer）概览。
微软DeepSpeed Chat框架介绍、一键部署脚本解析、ZeRO优化原理。
偏好数据集格式（Anthropic HH, OpenAI Summarize）、数据清洗与预处理Pipeline。
Reward Model架构设计、训练损失函数（Binary Cross Entropy）、训练技巧与调参。
PPO算法核心公式解读、TRL中的PPO实现、KL散度惩罚与奖励归一化。
使用LoRA进行高效微调、LoRA rank与alpha选择、合并LoRA权重。
数据并行、模型并行、流水线并行、张量并行概念解析。
ZeRO-3原理、offload策略、CPU Offload与NVMe Offload实战。
FP16与BF16原理、AMP（Automatic Mixed Precision）配置、损失缩放技巧。
Weights & Biases集成、TensorBoard使用、Loss曲线分析与异常检测。
Reward Score评估、Human Evaluation流程、自动化评估指标（BLEU, ROUGE）。
vLLM框架部署、PagedAttention原理、KV Cache优化、连续批处理。
GPTQ与AWQ量化原理、量化后模型部署、量化对RLHF效果的影响。
红队测试（Red Teaming）、毒性检测、内容过滤机制、RLHF的局限性。
CodeRL框架、代码执行反馈作为奖励、StarCoder与CodeLlama实战。
中文偏好数据集构建、中文分词器适配、中文奖励模型训练。
检索增强生成原理、RLHF优化检索器、知识库对齐。
Tool-Use RLHF、Function Calling奖励设计、Agent对齐。
LLaVA-RLHF框架、图像偏好数据集、视觉奖励模型。
训练成本估算、Spot Instance使用、Checkpoint策略、实验管理。
AutoRLHF框架、超参数自动搜索、实验Pipeline自动化。
DPO（Direct Preference Optimization）原理、DPO vs PPO对比、KTO算法。
Constitutional AI原理、自我修正机制、Anthropic的CAI实践。
模型服务化（Triton, Ray Serve）、A/B测试、模型版本管理。
OOM问题解决、训练不收敛排查、奖励黑客（Reward Hacking）检测。
Llama 2 RLHF流程复现、Qwen RLHF流程复现、Mistral RLHF流程复现。
RLHF技术路线图、Open Source vs Closed Source、AGI对齐挑战。