3. 数据收集策略：人类偏好数据的标注规范、数据质量与多样性控制、数据规模与成本权衡

好，咱们进入第三个核心话题——数据收集。说实话，RLHF 这个流程里，我最怕的就是这一步。模型选错了可以换，训练参数调差了可以重跑，但数据要是出了问题……嗯，那基本就是「垃圾进，垃圾出」，神仙难救。

我个人习惯，在启动任何 RLHF 项目之前，先花 30% 的精力把数据策略想清楚。为什么？因为数据决定了模型能力的上限，而训练只是去逼近这个上限。你想想看，标注规范没定好，模型学到的偏好可能就是错的；数据多样性不够，模型就只会讨好某一类用户；规模太大，成本直接爆炸。所以这一章，咱们把这三个问题掰开揉碎了讲。

3.1 标注规范：给「偏好」定个标准

人类偏好数据，说白了就是让标注员去比较两个模型回答，选出更好的那个。但「更好」这个词太模糊了。我在项目中遇到过，同一个问题，有的标注员觉得「详细」好，有的觉得「简洁」好，结果数据里全是噪声。

所以，第一步是制定清晰的标注规范。我一般会从这几个维度去定义：

• 有用性（Helpfulness）：回答是否解决了用户的核心问题？有没有提供可操作的信息？
• 安全性（Safety）：回答是否包含有害、歧视、违法内容？这是底线，一票否决。
• 诚实性（Honesty）：模型是否在不懂装懂？有没有明确表示「我不知道」？
• 风格适配性（Style Alignment）：回答的语气、长度、专业度是否匹配用户预期？

有了这些维度，我们还需要一个打分或排序的规则。我个人偏好用「成对比较 + 5 级 Likert 量表」的组合方式。举个例子：

# 标注界面伪代码
问题: "如何用 Python 读取 CSV 文件？"

回答 A: "用 pandas 的 read_csv 函数，代码是 df = pd.read_csv('file.csv')"
回答 B: "你可以用 pandas 库，先安装，然后导入，再调用 read_csv 方法..."

标注员任务:
1. 整体偏好: [A 远好于 B] [A 稍好] [差不多] [B 稍好] [B 远好于 B]
2. 具体维度打分 (1-5):
   - 有用性: A(5) B(3)
   - 安全性: A(5) B(5)
   - 诚实性: A(5) B(4)
   - 风格: A(4) B(3)

3.2 数据质量与多样性控制：别让模型变成「偏科生」

数据质量，说白了就是标注员靠不靠谱。我见过最离谱的事，是标注员为了赶工，随机选 A 或 B，根本不做比较。怎么防？

• 黄金标准题（Gold Standard）：在数据里混入已知正确答案的题目，标注员答错率超过 10% 就标记为低质量。
• 交叉验证：同一道题给 3 个不同标注员，如果一致性（Kappa 系数）低于 0.6，就退回重标。
• 实时反馈：标注员提交后，系统立刻给出「你的选择与多数人一致/不一致」的提示。这能快速纠正偏差。

多样性控制呢？说白了就是别让数据都长一个样。我习惯用「分层采样」的思路：

1. 领域分层：技术、医疗、法律、日常闲聊……每个领域至少占 10%，不超过 30%。
2. 难度分层：简单问题（事实查询）、中等问题（推理分析）、困难问题（创意生成）按 3:5:2 分配。
3. 风格分层：正式回答、口语化回答、带代码的回答、带表格的回答……都要覆盖到。

3.3 数据规模与成本权衡：钱要花在刀刃上

好，到了最现实的问题——要标多少条数据？每条数据多少钱？

先给个参考值。我参与过的项目里，10k ~ 50k 条成对比较数据是比较常见的规模。少于 10k，模型很难学到稳定的偏好；多于 50k，边际收益开始急剧下降。你想想看，标注一条数据（包含阅读问题、比较两个回答、打分）大概需要 30 秒到 2 分钟，按平均 1 分钟算，50k 条就是 833 小时的工作量。

成本怎么算？我列个表：

你看，50k 条数据，成本轻松上 5 位数。所以我的建议是：先小规模试标，再决定规模。具体做法：

1. 先标 500 条，训练一个初步的 Reward Model。
2. 用这个 Reward Model 去评估一个更大的未标注池，看看模型对哪些样本「不确定」（即偏好分数接近 0.5）。
3. 只标注那些「不确定」的样本，因为它们是模型最需要学习的地方。

3.4 知识体系：数据收集策略全景图

下面这张图，是我自己总结的数据收集策略框架。你可以把它当作一个检查清单，每次做 RLHF 前都过一遍。

这张图把三个核心模块串起来了。从左到右，是一个典型的执行流程：先定规范，再控质量与多样性，最后根据预算决定规模。每一步都环环相扣，缺一不可。

好了，数据收集策略就聊到这儿。记住一句话：数据是 RLHF 的燃料，但只有高质量的燃料，才能让模型飞得稳、飞得远。