大模型应用测试与质量保障实战 · 课程目录

01

大模型应用测试全景

为什么需要专门测试？与传统软件测试的核心差异

02

测试策略制定

基于风险的测试策略，如何平衡成本与质量

03

Prompt测试基础

Prompt的结构化设计、边界条件与对抗性测试

04

输出质量评估

准确性、相关性、连贯性、安全性的量化指标

05

自动化测试框架

搭建基于pytest的LLM测试流水线

06

回归测试与版本管理

Prompt版本控制、测试用例库维护

07

幻觉检测与缓解

识别事实性错误，构建反幻觉测试集

08

安全与对齐测试

Prompt注入、越狱攻击、有害内容过滤

09

性能与压力测试

延迟、吞吐量、并发场景下的模型表现

10

多模态测试

图文理解、生成一致性、跨模态对齐

11

上下文窗口测试

长文本处理、记忆衰减、位置偏差

12

工具调用测试

Function Calling的准确性、参数解析、异常处理

13

RAG系统测试

检索质量、上下文融合、引用准确性

14

Agent行为测试

多步推理、任务规划、状态管理

15

A/B测试与线上评估

实验设计、指标选取、统计显著性

16

用户反馈闭环

日志分析、人工标注、自动标注策略

17

数据漂移监控

输入分布变化、概念漂移、模型退化

18

测试环境管理

沙箱设计、Mock服务、数据隔离

19

测试数据生成

合成数据、数据增强、隐私保护

20

评估指标体系

BLEU、ROUGE、BERTScore、GPT评估

21

人工评估流程

标注规范、一致性检验、质量校准

22

持续测试与CI/CD

集成测试门禁、自动化报告

23

测试报告与可视化

Dashboard设计、趋势分析、告警

24

合规性测试

GDPR、数据安全、行业法规适配

25

多语言测试

翻译质量、文化适配、语言特异性

26

模型选择测试

不同模型对比、成本效益分析

27

边缘案例测试

罕见输入、极端长度、特殊字符

28

可解释性测试

注意力可视化、归因分析、决策路径

29

测试成熟度模型

从手动到自动，从反应到预防

30

AI测试AI、自适应测试、大模型质量工程