第1章：AI与机器学习安全全景
大家好，我是你们这趟安全之旅的向导。说实话，做了这么多年安全架构，我越来越觉得AI安全是个绕不开的坎儿。今天咱们就来聊聊这个让人又爱又恨的话题。
核心观点：AI系统不是黑盒，它和传统软件一样脆弱，甚至更脆弱。因为攻击者不仅能攻击代码，还能攻击数据、模型，甚至训练过程。
1.1 对抗性攻击：让AI“看走眼”的艺术
先讲个我亲身经历的事。有次做图像识别系统的安全测试，我在一张熊猫照片上加了点肉眼几乎看不见的噪点。结果呢？模型信心满满地把它识别成了“长臂猿”。这就是对抗性攻击——给输入数据加一点点扰动，让模型输出完全错误的结果。
为什么会这样？说白了，模型学到的决策边界太“脆”了。你想想看，它可能只是根据几个关键像素点做判断，稍微改一下这些点，它就懵了。
常见的攻击手法
- 白盒攻击：攻击者知道模型的一切，包括参数、结构。就像知道你家门锁的图纸，开锁自然容易。
- 黑盒攻击：攻击者只知道输入输出，靠不断试探来找到漏洞。嗯，有点像小偷挨个试钥匙。
- 物理世界攻击：在现实世界中贴个贴纸、改个路标，让摄像头识别出错。我记得有个团队在停车牌上贴了张纸条，自动驾驶就直接无视了它。
我的建议：对抗性训练是最基础的防御手段。在训练数据里混入对抗样本，让模型学会“抗揍”。但别指望一劳永逸——攻击者也在进化。
1.2 模型窃取与逆向工程：你的模型可能正在被“克隆”
模型是你的核心资产，对吧？但攻击者可能通过API接口，一点点把你的模型“偷”走。我见过一个案例：某公司把模型封装成API卖服务，结果竞争对手花了几百块钱调用API，就训练出了一个功能几乎一样的模型。
这招叫“模型窃取”。攻击者不断向你的模型发请求，收集输入输出对，然后用这些数据训练自己的模型。说白了，就是“偷师学艺”。
逆向工程更可怕
攻击者不仅能复制功能，还能推断出模型的结构、参数，甚至训练数据中的隐私信息。比如，通过分析模型对某些输入的异常反应，他们可能推断出训练数据里包含某个人的信息。
避坑指南：我曾经帮一个客户做安全审计，发现他们的模型API居然返回了置信度分数。这等于告诉攻击者“我有多确定”，大大降低了窃取难度。记住：只返回结果，别返回置信度。
1.3 数据投毒与模型偏斜：从源头污染你的AI
数据投毒，就是在训练数据里掺“沙子”。攻击者往数据里塞一些精心构造的样本，让模型学歪。比如，给垃圾邮件分类器喂一些“看起来像正常邮件，但其实是垃圾邮件”的样本，模型就会慢慢学会放行垃圾邮件。
模型偏斜则是更隐蔽的问题。训练数据本身就有偏差，比如某个群体在数据里占比过高，模型就会“偏爱”这个群体。我在做金融风控模型时遇到过：训练数据里男性用户占80%，结果模型对女性用户的信用评分普遍偏低。这不是模型坏，是数据坏。
| 攻击类型 | 攻击时机 | 典型后果 |
|---|---|---|
| 数据投毒 | 训练阶段 | 模型行为被操控 |
| 模型偏斜 | 数据收集/标注阶段 | 不公平、不准确的预测 |
| 后门攻击 | 训练阶段 | 特定触发器激活恶意行为 |
我的经验：数据溯源和清洗是基本功。每次拿到训练数据，我都会先做分布分析，看看有没有异常聚集。另外，差分隐私训练也能在一定程度上抵抗投毒——因为它给数据加了噪声，攻击者的“毒”会被稀释。
1.4 联邦学习与隐私保护：不共享数据也能训练模型
联邦学习是个好东西。它让多个参与方在不共享原始数据的情况下，共同训练一个模型。数据不出本地，只交换模型参数。听起来很安全，对吧？
但问题来了：模型参数里可能泄露数据信息。攻击者可以通过分析参数更新，推断出某个参与方的数据特征。甚至，如果攻击者控制了部分参与方，他们可以故意发送恶意参数，破坏全局模型。
常见的隐私攻击
- 成员推断攻击：判断某个样本是否在训练数据中。比如，通过分析模型对某个人的反应，推断这个人是否在医疗数据里。
- 属性推断攻击：从模型参数中推断出训练数据的统计特征。比如，推断出某个医院的患者平均年龄。
- 梯度泄露：从共享的梯度中还原出原始数据。我记得有篇论文展示了如何从梯度中直接恢复出图像——像素级还原。
防御思路：差分隐私是联邦学习的标配。给参数加噪声，让攻击者无法精确推断。另外，安全多方计算和同态加密也能用，但计算开销大。我个人习惯是：根据数据敏感度选择方案，别一刀切。
知识体系总览
下面这张图是我自己画的，把本章的核心逻辑串起来了。你一看就明白：攻击面覆盖了AI的整个生命周期。
你看，从数据收集到模型使用，每个环节都有对应的攻击手法。防御不是单点的事，得全链路覆盖。我个人习惯是：先做威胁建模，画出数据流图，然后针对每个节点部署防护。
最后提醒一句：别以为用了联邦学习就万事大吉。隐私保护是个系统工程，密码学、差分隐私、可信执行环境，该用的都得用上。我曾经见过一个团队，联邦学习框架搭得漂漂亮亮，结果模型参数没加密就直接传输——等于把家底亮给攻击者看。
好了，这一章咱们把AI安全的几个核心威胁都过了一遍。下一章开始，我会带大家深入每个攻击手法的技术细节，包括代码实现和防御方案。记住：了解攻击，才能更好地防御。