评估基础：什么是提示词评估？
提示词评估，说白了就是给你的提示词「打分」。
我见过太多人写提示词，写完就扔给模型，结果输出乱七八糟。他们觉得是模型不行，其实多半是提示词本身有问题。评估就是帮你找出这些问题。
具体来说，评估包含三个层面：
- 准确性：模型输出是否匹配你的预期
- 稳定性：同样的提示词，多次运行结果是否一致
- 鲁棒性：稍微改几个字，输出会不会崩
举个例子。你写了个提示词让模型总结会议纪要。第一次输出很完美，第二次却漏掉了关键决策。这就是稳定性差。我遇到过类似情况，后来发现是提示词里有个模糊的「重点内容」四个字——模型每次理解的「重点」都不一样。
核心观点：没有评估的提示词，就像没有测试的代码。你敢直接上线吗？
为什么评估是提示词工程师的核心能力？
这个问题我问过很多新人。他们的第一反应是「会写提示词就行」。嗯，这想法很危险。
你想想看，提示词工程师和普通用户的区别在哪？用户写提示词靠感觉，工程师靠数据。评估就是那个数据来源。
我总结了三层原因：
- 量化才能优化——没有评估，你永远不知道提示词好在哪里、差在哪里
- 避免「运气好」的假象——一次跑通不代表次次跑通，评估能暴露隐藏问题
- 建立可复用的方法论——评估体系成熟了，你就能批量生产高质量提示词
我记得刚入行时，有个项目需要生成产品描述。我写了十几个版本，每个都自我感觉良好。结果上线后，用户反馈说描述经常跑偏。后来我建立了评估流程，才发现问题出在「产品特性」这个词上——模型有时候理解成「功能」，有时候理解成「卖点」。这种问题，不评估根本发现不了。
我的习惯：每次写提示词，我都会先问自己——「我怎么知道它好不好？」如果答不上来，说明评估还没到位。
评估与调试的关系
很多人把评估和调试混为一谈。其实它们的关系很简单：
| 维度 | 评估 | 调试 |
|---|---|---|
| 目的 | 发现问题 | 解决问题 |
| 时机 | 持续进行 | 发现问题后 |
| 输出 | 评分、报告 | 修改后的提示词 |
| 依赖 | 评估标准 | 评估结果 |
说白了，评估是诊断，调试是治疗。没有诊断就乱治，大概率越搞越糟。
我个人的工作流是这样的：
- 写一个初步版本的提示词
- 跑评估，看它在哪些场景下表现差
- 根据评估结果调试提示词
- 再评估，确认问题是否解决
- 循环，直到所有指标达标
举个例子。有一次我写了个提示词让模型做情感分析。评估发现它在「讽刺」类文本上准确率只有30%。于是我调试了提示词，加了一句「注意识别反讽和夸张表达」。再评估，准确率提到了75%。
我曾经踩过的坑：调试完提示词后，只验证了之前出问题的案例，没做全面回归评估。结果修复了讽刺问题，却把正常文本的分析搞崩了。从那以后，我每次调试完都会跑一遍完整的评估集。
这里有个关键点：评估标准要提前定好。我见过有人调试提示词，调了十几次，每次都觉得「这次应该好了吧」。结果呢？因为没有客观标准，全凭感觉，最后连自己都不知道哪个版本更好。
我建议你至少定三个指标：
- 准确率：输出内容是否正确
- 一致性：多次运行结果是否稳定
- 覆盖率：能否处理各种边界情况
这三个指标定下来，评估和调试就有了方向。调试不再是瞎蒙，而是有目标地优化。
一句话总结：评估告诉你「哪里有问题」，调试负责「怎么修」。两者缺一不可，顺序也不能乱。
好了，这一章的内容就这些。下一章我会讲具体的评估方法，包括怎么设计测试用例、怎么量化结果。到时候见。