3. 标注标准制定：编写可执行的标注指南（Guideline）

标注指南，说白了就是给标注员看的「操作手册」。我见过太多团队花大价钱请人标注，结果因为指南写得模棱两可，最后回收的数据根本没法用。嗯，今天我们就聊聊怎么把这份指南写得既专业又接地气。

3.1 评分标准：从「好」到「坏」的量化刻度

我个人习惯把评分标准分成5个等级，每个等级都要有明确的定义和示例。你想想看，如果只说「回答质量高」，标注员怎么判断？

分数	等级	定义	典型特征
5分	完美	完全正确，逻辑清晰，信息完整	无事实错误，无冗余，可直接使用
4分	良好	基本正确，但有轻微瑕疵	小细节遗漏或表述不够精炼
3分	及格	核心内容正确，但存在明显问题	逻辑跳跃、部分信息错误或冗余较多
2分	较差	存在严重错误或偏离主题	事实错误、逻辑混乱、答非所问
1分	极差	完全错误或有害信息	包含误导性内容、恶意信息或完全无关

3.2 边界案例定义：那些「模棱两可」的时刻

标注中最头疼的就是边界案例。我在项目中遇到过这样一个场景：模型回答了一个问题，但回答中有一半是正确的，另一半是错误的。这该打几分？

我的处理方式是——提前定义好这些边界情况：

• 部分正确：如果正确部分占70%以上，打4分；如果正确部分在50%-70%之间，打3分；低于50%直接打2分。
• 回答过长：如果回答正确但包含大量无关信息，降1分处理。
• 回答过短：如果回答正确但信息不完整，降1分处理。
• 重复回答：如果模型用不同方式说了同一件事，视为冗余，降1分。

3.3 常见错误示例：标注员最容易踩的坑

标注员不是AI专家，他们很容易犯一些「低级错误」。我建议在指南中专门列一个「常见错误」章节，用真实案例说话。

错误1：把「流畅」当成「正确」

标注员经常被模型的流畅表达迷惑。比如模型说「太阳从西边升起，因为地球自转方向改变了」，这句话语法完全正确，但事实是错的。标注员容易打高分。

纠正：要求标注员先验证事实，再评估表达。可以给标注员提供一份「事实核查清单」。

错误2：忽略「有害内容」

有些回答看起来没问题，但隐含了偏见或歧视。比如模型回答「男生更适合做程序员」，标注员可能觉得这是「观点」而不是「有害内容」。

纠正：明确列出「有害内容」的类别：性别歧视、种族歧视、暴力倾向、违法内容等。每类都要有具体示例。

错误3：对「不确定性」的误判

模型说「我不确定，但可能是...」，标注员觉得这是「诚实」就打高分。但在RLHF中，我们更希望模型给出确定的答案，或者明确说「我不知道」。

纠正：定义「不确定性表达」的评分规则：如果模型能给出合理推测，打4分；如果只是含糊其辞，打3分；如果明明不确定却假装确定，打2分。

3.4 标注指南的「活文档」特性

标注指南不是写一次就完事的。我建议每两周更新一次，把标注过程中发现的新问题加进去。具体做法：

1. 每周收集标注员的疑问和争议案例
2. 团队讨论后形成统一意见
3. 更新指南，并标注版本号和更新日期
4. 通知所有标注员阅读更新内容

3.5 知识体系框架图

下面这张图是我自己总结的标注指南核心逻辑，你可以直接拿去用：

3.6 标注指南的「避坑指南」

最后，分享几个我踩过的坑：

• 不要用「通常」「一般」这类模糊词：标注员会问「通常是指多少比例？」。直接写「超过80%的情况」。
• 不要假设标注员有背景知识：我见过指南里写「注意避免过拟合」，标注员直接懵了。改成「如果回答过于针对某个特定场景，降1分」。
• 不要一次给太多规则：标注员记不住。我建议把规则控制在10条以内，剩下的用「常见问题」附录补充。
• 不要忽略「标注疲劳」：标注员连续工作2小时后，判断力会下降。建议在指南中提醒「如果感到疲劳，请休息15分钟再继续」。