📘 提示词评估实战
30章 · 从0到1
⚡ 核心能力 · 评估体系
01
评估基础
什么是提示词评估？为什么评估是提示词工程师的核心能力？评估与调试的关系。
02
评估维度
准确性、完整性、一致性、效率、安全性、可解释性六大核心维度详解。
03
评估流程
定义目标 → 设计测试用例 → 执行评估 → 分析结果 → 迭代优化，五步闭环法。
04
测试用例设计
边界测试、压力测试、对抗测试、典型场景测试、长尾场景测试。
05
评估指标
精确率、召回率、F1分数、BLEU、ROUGE、Perplexity等自动评估指标。
06
人工评估
评分量表法、成对比较法、A/B测试法、专家评审法。
07
自动化评估
基于规则的评估、基于模型的评估（LLM-as-a-Judge）、混合评估策略。
08
评估数据集
如何构建高质量评估数据集？数据标注、数据清洗、数据增强。
09
评估工具
OpenAI Evals、LangSmith、DeepEval、Ragas等主流评估框架对比。
10
评估报告
如何撰写专业的评估报告？数据可视化、结论提炼、改进建议。
11
Prompt稳定性评估
如何衡量同一个Prompt在不同输入下的表现一致性？
12
Prompt鲁棒性评估
面对拼写错误、格式变化、噪声输入时的表现。
13
Prompt安全性评估
越狱攻击、提示注入、有害内容生成检测。
14
Prompt效率评估
Token消耗、响应时间、成本效益分析。
15
Prompt可解释性评估
模型输出是否可追溯？推理过程是否透明？
16
多轮对话评估
上下文保持能力、记忆一致性、对话流畅度。
17
角色扮演评估
角色一致性、语气风格保持、知识边界控制。
18
代码生成评估
语法正确性、逻辑正确性、代码风格、可读性。
19
文本生成评估
创造性、相关性、连贯性、信息密度。
20
结构化输出评估
JSON格式正确性、字段完整性、数据类型匹配。
21
Few-shot评估
示例数量对效果的影响、示例选择策略评估。
22
Chain-of-Thought评估
推理步骤正确性、中间结果合理性、最终答案准确性。
23
温度参数评估
不同temperature设置对输出多样性和准确性的影响。
24
系统Prompt评估
系统指令对模型行为的影响、指令冲突检测。
25
多语言评估
跨语言一致性、翻译质量、文化适配性。
26
领域特定评估
医疗、法律、金融等垂直领域的专业术语和知识准确性。
27
评估偏差
确认偏差、锚定效应、光环效应等常见评估偏差及规避方法。
28
评估自动化流水线
CI/CD集成、持续评估、回归测试。
29
评估结果分析
统计显著性检验、错误模式分析、根因定位。
30
评估最佳实践
从0到1搭建评估体系、团队协作、迭代优化策略。