4、人工评估流程：评估者选择、评估任务设计、评估标准校准、评估结果收集与一致性检验

人工评估，说白了就是让真人来给Prompt的效果打分。

你可能会问：为什么不用自动化指标？我在项目中遇到过太多次了——自动化指标跑出来漂亮得很，但实际用起来就是一坨。比如BLEU分数高，但生成的内容驴唇不对马嘴。所以，人工评估这块硬骨头，咱们必须啃下来。

4.1 评估者选择：找对人，事半功倍

评估者选不好，后面的工作全白费。我个人习惯把评估者分成三类：

嗯，这里要注意：千万别让写Prompt的人自己去评估。我见过一个团队，工程师自己写Prompt自己打分，结果全是满分。你想想看，这数据还能用吗？

4.2 评估任务设计：别让评估者猜你的心思

任务设计这块，我踩过不少坑。最典型的就是：给评估者一个开放性问题，比如「你觉得这个回答怎么样？」——结果十个人给出十种答案，根本没法汇总。

我的做法是：把评估任务拆成具体的、可操作的子任务。

• 单维度评分：让评估者只关注一个方面，比如「准确性」或「流畅度」
• 对比排序：给两个回答，问「哪个更好？」——这个比打分更稳定
• 错误标注：让评估者圈出具体的问题，比如「这里事实错误」或「这里逻辑不通」

4.3 评估标准校准：统一口径，减少偏差

这是整个流程里最容易被忽视的一步。你以为大家理解的「准确性」是一样的？其实差远了。

我建议做两件事：

1. 预校准会议：让所有评估者一起评5-10个样本，然后讨论为什么打这个分
2. 标准文档：把每个维度的定义写清楚，最好配上正反例子

举个例子，我们团队对「相关性」的定义是：

1分：完全无关，回答和问题不在一个频道上
2分：部分相关，但主要信息偏离
3分：基本相关，没有明显错误
4分：高度相关，直接命中问题核心
5分：完美相关，不仅回答了问题，还提供了额外价值

为什么会这样？因为如果没有这个标准，有人觉得「沾点边就算相关」，有人觉得「必须一字不差才算相关」。你说这怎么比？

4.4 评估结果收集与一致性检验

数据收上来之后，别急着算平均分。先做一致性检验。

我常用的指标是 Cohen's Kappa（两个评估者）或 Fleiss' Kappa（多个评估者）。简单说，就是看评估者之间的打分是不是「碰巧一致」。

收集结果时，我习惯用这样的格式：

评估者ID | 样本ID | 准确性 | 流畅度 | 相关性 | 备注
A001     | S001   | 4      | 5      | 3      | 事实正确，但有点啰嗦
A002     | S001   | 4      | 4      | 4      | 没问题
A003     | S001   | 3      | 5      | 3      | 缺少关键细节

你看，同一个样本，三个评估者打的分就不一样。这时候一致性检验就派上用场了。

最后说一句：人工评估不是一次性的事。我建议每评估100个样本后，就做一次一致性检查。如果发现偏差越来越大，赶紧停下来重新校准。别等到数据全收完了才发现问题——那才叫欲哭无泪。