先画出不可信输入

将网页、上传文件、检索片段和工具返回内容都标记为数据来源,而不是操作授权。文档中出现“忽略规则”或类似指令时,不应改变应用既定权限。来源看起来可信,也不能替代用户对具体操作的授权。

给检索内容保留来源标识和位置,方便核验结论,但不把未经验证的链接自动当成允许访问的目标。提示词可以帮助说明角色,真正的安全边界仍应由应用程序强制执行。

把每个工具限制成明确动作

为工具定义固定名称、参数类型、允许目标和最小权限,拒绝未知字段与任意命令字符串。执行前由应用检查用户身份、资源范围和当前任务权限;模型生成参数并不等于授权已经成立。

查询工具与产生副作用的工具分开。删除、支付或发送消息等动作需要明确的业务确认流程与可核验状态;测试时使用无副作用替身。对返回文本限制大小,不让无限工具循环耗尽预算。

用对抗样本验收边界

准备包含伪造管理员指令、诱导读取秘密和要求向外部地址传输数据的合成文档。检查应用是否仍然拒绝越权工具调用,日志只保存必要的结果摘要,不保存真实秘密或完整攻击载荷。

将失败样本变为回归检查,验证更换模型或修改检索格式后边界仍成立。对无法确定的输出阻止自动执行并交给明确的审核路径。文章讨论的是应用侧控制,不声称任何模型或服务已经完全免疫提示注入。

参考资料

由 NexoToken 维护的自营资料站。平台介绍包含运营方利益关系,不构成独立第三方认证。