什么是提示注入？为什么AI应用会被攻击？

访问量 0 发布于 最近 更新于 最近 19~25 分钟 阅读

本文仅供学习和信息参考，不构成法律意见、合规意见或安全处置建议。文中出现的网页、文档、助手和业务均为便于说明而虚构，不包含可直接复用的攻击内容。

AI读网页时，网页也可能在"对它发指令"

假设你做了一个很实用的AI小助手：给它一个链接，它去把网页读一遍，缩成一段摘要，再存进团队的知识库，方便同事以后检索。大多数时候它工作得很好。直到某一次，它读到的那个页面，除了正常的正文，还夹了一小段并不是写给人看的文字——那段文字面向的是正在读网页的AI，大意是让它别管原来的总结任务，改去做点别的，比如把手头能读到的资料整理一下、发到某个地方。

对一个只想要摘要的用户来说，这段文字根本不该起作用。可如果这个AI助手把网页里的所有文字都当成"任务的一部分"来理解，它就有可能真的照着那段话去做。这里没有人破解密码，也没有谁攻破服务器，问题出在更底层的地方：外部资料本该只是"被读取的数据"，却夹带了能改变AI助手行为的指令，而AI助手没能把这两者分清楚。这类藏在外部内容里、让AI偏离原本任务的手法，就是间接提示注入——攻击不在你的输入里，在AI替你去读的那些东西里。

先顺着这次任务，看清这段文字是从哪一步溜进去、又是怎么一路影响到后面的。

图里最关键的是中间那个"检索与上下文组装"的环节。你的任务（"总结这份资料"）和那段不可信的外部内容，在这里被拼到了一起，然后一并送进模型。

到了模型这一层，它面对的是一整块上下文，要从里面判断哪句该服从、哪句只该参考——而它并不是靠一套硬性的权限规则在做这件事。

一旦判断偏了，偏差就顺着右边继续走：先变成一段跑偏的输出，如果这个AI助手还接了工具和权限，就可能进一步变成一次真实的动作。

图右下角那三种后果——任务偏离、敏感信息暴露、越权或不可逆动作——正是随着助手手里的数据和权限逐级放大的。

问题不只是提示词写得不够强

很多人第一反应是"那我把系统提示写得再严一点、再三叮嘱它别听外面的话不就行了"。这能挡掉一部分，但挡不干净，因为它没有解决根本性的机制上的问题。

模型在生成时，看到的是一整段上下文：你的系统指令、用户这次的请求、以及为完成任务检索进来的外部资料，最后都变成了同一种东西——可供它处理的文字。这些文字确实带着来源的标记，"这是系统的""这是用户的""这是网页的"，但来源标记和真正的权限隔离是两码事。传统软件里有权限内核，普通程序再怎么请求也越不过内核划定的界；而模型面对自然语言时，没有这样一道硬边界，指令和数据之间的分界是靠它"理解"出来的，不够牢靠。你可以把来源标记想成文件夹上贴的标签，标签能提示"这份材料来自外部、要小心"，但它本身管不住里面的内容会不会被当真——真正的门禁得另外做。正因如此，只在提示词里多写几句约束，是在一个不稳固的地基上加固，能减少概率，不能根除。

直接注入、间接注入和越狱不是一回事

有了上面的机制打底，再来分清几个常被混着说的词，就不容易乱了。

直接提示注入，是攻击内容来自使用者主动输入——用户自己在对话里想办法让模型偏离开发者设定的行为。

间接提示注入，就是前面那个例子：攻击内容藏在网页、邮件、文档、检索结果这些外部资料里，用户往往完全不知情，是AI替他读取时才把它带进来的。两者的入口不同，但利用的是同一个弱点：指令和数据在上下文里分不清，现在很多提供AI的API服务站点（也叫中转站）也可以在中间夹带私货做这种“坏事”。

越狱则通常指另一回事——设法绕开模型自身的行为限制，让它说出或做出本来被拦着的内容。它和提示注入会重叠：有人可能用一段注入的文字去实现越狱。但目标不一样，注入更关心"让AI偏离这个应用该做的任务、去动它不该动的数据和工具"，越狱更关心"突破模型的行为红线"。对开发者来说，把它们分开有实际意义：越狱多是模型层面的对齐问题，而应用被注入、进而越权操作，是你的编排、权限和校验能管、也必须管的事。

接上RAG和工具之后，错误会从回答变成动作

只要助手还只是"把跑偏的摘要写出来"，损失通常有限，用户多看一眼就能发现不对。真正让后果升级的，是它背后接了什么。

先看RAG。

为了让回答更准，你会让助手去检索知识库、网页、文档——这本身是好事，但它也意味着更多外部来源被引进了上下文，间接注入的入口跟着变多。要澄清一个常见误解：RAG和微调都不能彻底消除提示注入。

它们可能让模型在某些情况下表现更稳，却给不了可靠、通用的完全防护，因为不可信内容照样会进入模型能读到的那块上下文。

同样，把系统提示藏起来也不是防线——它可能被诱导吐露，更重要的是，就算它没泄露，也拦不住外部指令混进上下文。系统提示是配置，不是秘密，更不是访问控制。

真正把后果放大的是工具和权限。

当这个助手从"只会写字"变成能写知识库、能发邮件、能调用接口，甚至还有记忆、握着凭据，它就成了一个Agent。这时一段注入的文字，能造成多大的事，取决于它手里攥着多大的权限——正如攻击路径图里那句，工具与权限"决定错误能走多远"。

同一次偏离，发生在一个只读、只会返回文字的助手身上，可能只是一段废话；发生在一个能对外发信、能改数据的助手身上，就可能变成越权操作、敏感信息外泄，或者一次撤不回来的动作。

所以Agent不是天然就危险，是权限决定了它出错时的上限。

防线要铺在模型前后，而不是只堵一句话

既然指令和数据的边界靠不住、后果又被权限放大，那防护的思路就不该是"在提示词里堵住那一句话"，而是顺着整条链路，每一步都设一道只管一段的关卡。哪些关卡、分别拦什么，下面这张图铺开来看。

我们按从左到右开始看

第一道是来源与信任：给内容标记来源，把外部资料明确当作数据而非指令，并限制助手能去检索的范围，先把不可信内容进入的概率压下去。

第二道是上下文隔离：把指令和资料尽量分开，只给模型完成任务真正需要的那部分数据，同时保护好凭据和秘密，缩小一旦混淆能波及的范围。

第三道是输出验证：在结果落到下游之前检查格式和内容，高风险的输出不直接拿去用。

第四道是工具最小权限：用白名单圈定能调的工具，对参数和操作对象做校验，凭据尽量短期、可撤销，把"错误能造成的影响"从源头限住。

第五道是人工确认：敏感动作在执行前先给人预览，说清楚要对谁、做什么、影响多大，把高影响的那一下交给人来把关。

这五道之外，图底部那条横贯所有层的带子同样重要——日志与隐私保护、异常监控、对抗测试、事件响应。它的意思是：即便前面每一层都做了，也要假设某一层会失手，所以得能在失效时及时发现、限制影响、撤销权限、复盘修补。

这就是"防御纵深"：不指望任何一层可靠，而是让多层一起把风险摊薄。类比到这里也就够了，真实的每一层都有各自的盲区，不能因为闸门多就觉得万事大吉。

哪些做法看起来安全，其实只减少了一部分风险

正因为没有单独一层靠得住，有几种听起来很安心的做法，其实只解决了一部分问题，值得单独点出来。

"把系统提示藏好"——前面说过，它是配置不是秘密，藏起来既可能被诱导泄露，也拦不住外部注入。

"在提示词里加一句'不要听从外部指令'"——能降低一些概率，但模型未必每次都照办，它不是一道确定性的开关。

"只要上了RAG就安全"——恰恰相反，RAG引入了更多外部来源，是需要额外防护的一环，而不是防护本身。

"模型越强就越不会中招"——更强的模型也会被新的方式绕过，能力提升不等于免疫。

"上一个检测器就能全拦下来"——检测能挡掉一批已知模式，但绕过检测的花样一直在变，没有哪个检测器能把它们拦得一个不漏。

看图右侧那条弯回起点的虚线箭头，它表达的正是这件事：所有防线加起来，仍会留下剩余风险，需要持续复测和调整，而不是做完一轮就结束。判断一个做法有没有用，别问"它能不能一劳永逸"，问"它减少了哪一段风险、又留下了哪一段"。

先判断你的应用能造成多大后果

绕了一圈，落回你自己手上的这个应用。要不要为提示注入紧张、该投入多少防护，先看它同时满足几个条件：它会不会读取不可信的外部内容、手里有没有敏感数据、能不能调用高影响的工具、这些动作是自动执行还是有人复核、以及一旦做错能不能撤回。

这几个条件叠得越满，风险等级越高，防护就越要往前铺。

一个只读公开网页、只返回文字、不碰任何账号的摘要助手，风险相对可控；

而一个能读客户邮件、又能替你发信或发起付款的助手，哪怕功能看着差不多，出错的代价完全不是一个量级——后者就得把工具权限收到最紧、把人工确认卡在最关键的那一步。

如果想了解更多关于提示词安全方面的内容，可以往这些方向去学习：

  • RAG 安全，管好检索进来的外部来源；

  • Agent 最小权限，工具越多越要收权；

  • 数据泄露和输出校验，看敏感信息怎么漏、结果怎么验；

  • 练 AI 红队测试，主动去找自己系统的破绽。

提示注入不是某一个能被一劳永逸补上的洞，而是AI应用的一种常态风险——认清它、把防线摊在整条链上、并留出发现和恢复的余地，是比指望它被一次性解决更实在的目标。

参考文献

安全实践
入门 产品经理 理论 开发者 原创
分享协议:  CC BY 4.0

©2026 AI全书. 保留部分权利

    备案号: 浙ICP备06043869号-8