🛡️ 提示词安全课程
30章 · 从入门到防御
⚡ 友好色系
🎨
1
安全概述
威胁模型
为什么提示词安全如此重要？常见的攻击面与威胁模型。
2
提示注入基础
核心概念
什么是提示注入？直接注入与间接注入的区别。
3
直接提示注入
实战
通过用户输入覆盖系统指令的实战案例与防御。
4
间接提示注入
外部数据
通过外部数据源（如网页、文档）植入恶意指令。
5
越狱攻击
经典变种
经典的越狱提示（如DAN、角色扮演）的原理与变种。
6
提示泄露
系统提示
如何通过精心构造的提示，让模型泄露系统提示词或内部逻辑。
7
数据投毒
后门触发
在训练数据或上下文窗口中植入后门触发词。
8
输出编码攻击
XSS/执行
利用模型输出格式（如JSON、Markdown）进行XSS或代码执行。
9
多轮对话攻击
上下文累积
利用上下文窗口的累积效应，逐步诱导模型突破限制。
10
角色扮演攻击
无限制角色
让模型扮演一个没有安全限制的角色，从而绕过审核。
11
逻辑混淆攻击
绕过过滤
使用嵌套、编码、同义词替换等方式绕过关键词过滤。
12
少样本攻击
污染示例
在少样本示例中植入恶意样本，污染模型行为。
13
对抗性后缀
自动搜索
自动搜索能绕过安全分类器的后缀字符串。
14
输入验证与清洗
过滤技术
白名单、黑名单、正则表达式过滤的优缺点。
15
输出过滤与审核
安全检测
基于规则和基于模型的输出安全检测。
16
权限最小化原则
系统指令
如何设计系统指令，限制模型的能力范围。
17
上下文隔离
防污染
如何防止不同用户或不同轮次的对话互相污染。
18
速率限制与监控
异常检测
异常检测、日志审计与实时告警。
19
红队测试方法论
系统测试
如何系统性地对提示词应用进行安全测试。
20
自动化安全评估
LLM评估
使用LLM评估LLM，构建自动化红队框架。
21
安全开发生命周期
SDL
在需求、设计、开发、测试阶段嵌入安全实践。
22
合规与伦理
GDPR/AI法案
GDPR、AI法案、内容审核政策对提示词工程的影响。
23
提示词版本管理
版本控制
如何对提示词进行版本控制、回滚与审计。
24
供应链安全
第三方风险
第三方模型、插件、API的安全风险与评估。
25
多模态安全
图像/音频
图像、音频输入中的隐式提示注入风险。
26
Agent安全
工具滥用
当LLM可以调用工具时，如何防止工具滥用。
27
RAG安全
文档投毒
检索增强生成中的文档投毒与信息篡改。
28
防御性提示设计
系统指令
编写不易被注入的系统指令的技巧。
29
案例研究
真实复盘
真实世界中的提示词攻击事件复盘。
30
未来趋势
可解释性
提示词安全的挑战与研究方向（如可解释性、形式化验证）。