Agentic AI 安全：防御提示注入与工具滥用

在本篇文章中，您将了解在 Agentic AI 系统中什么是提示注入和工具滥用，以及专家推荐哪些防御策略来缓解这些问题。

我们将涵盖的主题包括：

• 提示注入和工具滥用如何危及部署在真实生产环境中的 AI 代理。
• 为什么传统安全机制无法抵御能够自主推理、规划和行动的系统。
• 五种基础防御策略，从最小权限和沙箱执行到人在回路检查点。

让我们不再浪费时间。

引言

AI 代理正从实验环境快速过渡到真实生产环境。这带来了代理能力的显著转变，也自然引发了安全担忧。处理聊天机器人可能意外产生幻觉或生成敏感文本的时代已经过去：如今，最突出的 AI 系统配备了自主代理，具备“附加能力”，包括读取您的数据库（当然，前提是您配置了必要的权限和授权）、发送电子邮件、执行代码脚本，以及总体上在与外部组件和系统交互时承担您的角色。

Agentic AI 最知名的安全框架之一是 OWASP Top 10 for AI Agents，它为理解传统安全机制和假设在面对能够自主推理、规划、决策和行动的 AI 系统时为何逐渐失效提供了一种实用方法。

本文概述了当前危害基于代理的应用程序的两个最突出的漏洞，即提示注入和工具滥用，并讨论了该领域专家目前提出的有效应对策略。

威胁：提示注入与工具滥用

让我们简要讨论当我们赋予 AI 系统自主行动能力时重新变得重要的两个“双生威胁”，成功攻击的可能性显著增加：

提示注入

这种做法并非 Agentic AI 系统所独有，在传统对话式 AI 应用中也存在。提示注入发生在语言模型将不受信任的输入解释为指令而非单纯数据时。这会导致模型偏离其常规、预期的行为。在 Agentic AI 和 AI 安全漏洞的语境中，该问题被重新命名为 Agent Goal Hijacking。攻击方式如下：攻击者可能在代理处理的电子邮件、正文、网页或任何其他文档中嵌入恶意指令。因此，由于语言模型无法有效区分受信任指令与不受信任的外部指令，攻击者最终可以将代理从其预期目标重定向。

工具滥用

也被称为“confused deputy”漏洞，发生在高度特权且受信任的系统（称为代理）被权限较低的用户诱骗滥用其权限时。由于代理依赖各种内部和外部工具来完成任务，当它们错误地（且不知情地）利用合法权限执行基于攻击者意图的有害或未经授权的操作时，后果可能不成比例：从暴露敏感信息到在多个连接的应用程序中引发级联故障。

防御策略

大多数传统网络安全协议无法成功保护具有自主推理和行动能力的实体。因此，有必要定义新型架构，不仅管理代理的行为，还管理整体系统权限。

以下是该领域专家认为有效的部分基础防御策略。这些策略通常可以使用成熟的开源技术实现，无需依赖昂贵的专有解决方案。

执行严格的最小权限

该策略的核心是仅授予代理严格所需的能力和权限。例如，为读取客户支持工单构建的代理绝不应有修改生产数据库的能力。为实现此目标，可考虑使用 Identity and Access Management (IAM) 机制来限制对数据集、API 和操作的访问，最好在专用代理之间隔离职责，以降低漏洞的可能性和影响。

实施开源护栏

NVIDIA NeMo Guardrails 和 Meta Llama Guard 是此类开源解决方案的两个著名示例，可帮助执行安全协议并降低暴露风险。不过，请注意，护栏只是一个防御层，可能需要与其他安全机制结合使用：例如，简单过滤不足以成功防止提示注入等问题。

沙箱执行环境

Docker 容器和 Wasm 沙箱是在确认代理生成的代码没有潜在危害之前隔离这些代码的好方法。这对不安全代码执行有效，但仍需额外措施来保护涉及外部 API 或业务系统的操作。

设计人在回路（HITL）检查点

简单往往是最有效的策略，HITL 实践就是明显的例子。基本上，这包括让代理在低风险活动（如检索和汇总信息）中自主运行，同时要求在执行高风险或不可逆操作（如金融交易）前进行明确的人工验证。

监控和审计代理活动

总体而言，从安全角度看，AI 代理必须被视为特权软件实体，而非纯粹的智能助手。为此，记录提示、权限请求、批准决策、工具调用和外部操作是一项必要实践。结合全面监控，这对于检测漏洞和威胁（如提示注入尝试、不当工具使用和其他策略违规）至关重要。

结束语：展望未来

随着 Agentic AI 系统复杂性的不断提升，组织也应意识到工具滥用和提示注入等新兴风险。本文概述了 Agentic AI 中的这两个突出安全问题，并强调了在真实世界中自信地部署由 AI 代理驱动的自主系统、实现生产力与安全性并重时需要牢记的几种策略。

暂无评论。