2026年7月22日

这个故事太离奇了。简短版本:OpenAI 正在对一个未发布的模型进行网络安全测试,且该模型的防护功能已关闭。该模型没有解决测试,而是突破了 OpenAI 的沙箱,然后找到漏洞入侵 Hugging Face,一切都是为了在测试中作弊,窃取答案。

在此过程中,它有力地证明了模型可用性的不平衡如何损害我们保护软件安全的能力。

事情经过

目前有三份文件帮助我们理解发生了什么。

  1. ExploitGym:AI 代理能否将安全漏洞转化为真实攻击?是一篇于 2026 年 5 月 11 日发表的论文,描述了 ExploitGym,这是一个针对 LLM 驱动代理系统的新评估套件。
  2. 安全事件披露 — 2026 年 7 月由 Hugging Face 于 2026 年 7 月 16 日发布,描述了他们如何检测到来自“代理安全研究工具——所用 LLM 仍未知”的攻击,该攻击入侵了他们部分系统。
  3. OpenAI 与 Hugging Face 合作解决模型评估期间的安全事件来自 OpenAI 于 2026 年 7 月 21 日发布的声明,承认这正是他们的代理工具所为,并表示正在与 Hugging Face 合作清理善后。

ExploitGym

我之前没有看过 ExploitGym 论文,它确实很有趣。来自加州大学伯克利分校、马克斯·普朗克研究所、加州大学圣巴巴拉分校和亚利桑那州立大学的作者设计了一个新的基准,用于评估模型将已报告漏洞转化为具体漏洞利用的能力。OpenAI、Anthropic 和 Google 提供了反馈,并协助用他们的模型运行该基准。

该基准“包含 898 个实例,源自影响流行软件项目的真实漏洞”——包括 Linux 内核和 V8 JavaScript 引擎。

以下段落最能代表他们的基准结果:

在所有配置中,Claude Mythos Preview 和 GPT-5.5 取得了最高的成功次数(分别为 157 次和 120 次),表明当前前沿代理在受控条件下可以利用大量真实世界漏洞。GPT-5.4 也解决了 54 项任务,处于中等水平。其余模型–代理组合每项任务的解决次数均少于 15 次,凸显出端到端漏洞利用仍具挑战性,且能明显区分当今的前沿系统。值得注意的是,尽管 Claude Opus 4.7 是更新的检查点,但其成功次数却少于 Claude Opus 4.6,且在完整数据集上的成本也显著更低。追踪检查显示,Claude Opus 4.7 和 Gemini 3.1 Pro 经常在判定目标漏洞不可利用后提前结束。

论文还描述了他们为防止代理通过超出测试参数的方式作弊而采取的方法。这一点稍后会变得相关!

出站连接被限制在经过筛选的允许列表内,该列表允许常规软件包安装(Ubuntu apt 仓库和 PyPI)以及获取构建 V8 所需的工具链。所有其他外部端点均被阻止。

论文以此结尾(重点为笔者所加):

我们的结果表明,前沿 AI 代理的自主漏洞利用开发已不再是一种假设能力。虽然当前代理在所有目标上尚不可靠,但它们已利用了真实世界漏洞中的非平凡部分,包括内核组件等复杂目标。这种能力的快速涌现本身就是一项核心发现,表明原本看似不可能的能力如今已存在于已部署的前沿模型中。

这里有一个重要细节:这篇论文并非关于发现漏洞,而是关于能否将这些漏洞转化为可工作的漏洞利用。

当 Anthropic 于 4 月初首次限制对 Mythos 的访问时,他们也谈到了这种能力。一个能够针对漏洞采取行动的模型,比仅仅能发现漏洞的模型危险得多。

Fable 与 Mythos 的区别之一是,Fable 更有可能拒绝以这种方式武器化漏洞。我的印象是,美国政府在上个月 禁止 Fable 时,并没有理解这一区别。

Hugging Face 事件

我们首次得知此次攻击的线索来自 Hugging Face 于 2026 年 7 月 16 日发布的 这篇博客

一个恶意数据集滥用了我们数据集处理中的两条代码执行路径(一个远程代码数据集加载器和数据集配置中的模板注入),在处理工作器上运行代码。此后,攻击者升级到节点级访问权限,获取了云和集群凭证,并在周末横向移动到多个内部集群。

希望他们能发布更多关于实施此次攻击的代码的细节。我假设这意味着使用了 datasets 库,这是 Hugging Face 用于在平台上捆绑和共享数据集的项目。该库过去会执行任意代码,但随着时间的推移已逐步收紧,在 2025 年 7 月的 4.0.0 版本中完全移除了 trust_remote_code=True 标志。

假设攻击使用了该库,那么它一定是通过某种方式滥用了 pickle 序列化、找到了其他不明显的代码执行路径,或者(最有可能)指定了 datasets<4.0.0 作为依赖项。

此次行动由一个自主代理框架(似乎基于代理安全研究工具构建——所用 LLM 仍未知)执行,该框架在大量短生命周期沙箱中执行了数千个单独的操作,并将自迁移的命令与控制部署在公共服务上。

这是一次复杂的攻击!

随后 Hugging Face 遇到了障碍:他们试图使用“商业 API 背后的前沿模型”——我猜测来自 Anthropic 和 OpenAI——来帮助分析攻击,但遭到了阻止:

当我们开始日志分析时,我们首先使用了商业 API 背后的前沿模型。这行不通:分析需要提交大量真实的攻击命令、漏洞利用载荷和 C2 构件,而这些请求被提供商的安全防护措施拦截,这些措施无法区分事件响应者与攻击者。

他们转而使用自己自托管的 MIT 许可的 GLM-5.2 实例,该实例帮助他们弄清了发生了什么。

这表明防御团队与(迄今未知的)攻击者之间存在根本性的不对称:

我们不知道攻击者代理使用的是哪种模型,无论是越狱的托管模型还是无限制的开源权重模型;无论如何,攻击者不受任何使用政策约束,而我们自己的取证工作却被我们最初尝试的托管模型的防护措施所阻挡。

作为他们对此次攻击重视程度的有用指标:

[……] 最后,我们还已向执法机构报告了此次事件。

那么,谁是这个“自主代理框架”的幕后黑手?事实证明是 OpenAI 自己。

OpenAI 的坦白

五天后,OpenAI 于 7 月 21 日透露了罪魁祸首。他们一直在对一个新的、尚未公开的模型运行 ExploitGym 基准测试,而该模型的运行方式远远超出了其预期参数(重点为笔者所加):

经过调查,我们现在知道此次事件是由 OpenAI 模型组合驱动的——包括 GPT‑5.6 Sol 和一个能力更强的预发布模型,所有模型均已降低网络拒绝功能以用于评估目的——同时在内部针对网络能力基准 [ExploitGym] 进行测试。[...]

我们通过在不使用用于防止模型从事高风险网络活动的生产分类器的情况下运行此评估来估算最大网络能力。我们的基准测试在一个高度隔离的环境中运行,网络访问仅限于通过内部托管的第三方软件(充当软件包注册表的代理和缓存)安装软件包。

这些模型识别并串联了 OpenAI 研究环境和 Hugging Face 生产基础设施中的漏洞,直接从 Hugging Face 的生产数据库中获取测试解决方案。所有证据表明,这些模型高度专注于寻找 ExploitGym 的解决方案,不惜采取极端手段来实现一个相当狭窄的测试目标。

事情很清楚了。OpenAI 移除了一个正在开发中的模型的安全过滤器,将其锁在沙箱中,并要求它解决 ExploitGym 问题。由于没有防护措施,该模型没有任何东西可以阻止它试图逃出沙箱、入侵 Hugging Face 并从那里读取答案。

OpenAI 的沙箱使用了现在常见的模式,即允许访问与通过受控代理安装额外软件包相关的允许列表网站。用 OpenAI 的话来说:

在我们的沙箱测试环境中运行时,我们的模型花费了大量推理计算来寻找获取开放互联网访问权限的方法,以求解决评估问题。为了获得访问权限,这些模型识别并利用了软件包注册表缓存代理中的一个零日漏洞(我们现已负责任地向供应商披露)。通过此访问权限,我们的模型在我们的研究测试环境中执行了一系列权限提升和横向移动操作,直到模型到达具有互联网访问权限的节点。

因此,第一步是突破到公共互联网。该模型随后入侵 Hugging Face 以寻找答案:

获得互联网访问权限后,这些模型推断 Hugging Face 可能托管了 ExploitGym 的模型、数据集和解决方案。知道这一点后,该模型搜索并成功找到了获取秘密信息的方法,这些信息可用于在评估中作弊。在一个例子中,该模型串联了多个攻击向量,包括使用被盗凭证和零日漏洞,在 Hugging Face 服务器上找到远程代码执行路径。

串联多个攻击向量正是这类新型模型能够做到的事情,而前几代模型可能会失败。

上个月,我在注意到 Claude Fable 在我的笔记本电脑上启动自定义 Web 服务器并部署 CORS 技巧来帮助调试 WebKit CSS 问题时,写了关于 Claude Fable 如何 relentlessly proactive 的文章。事实证明,relentless proactivity 是这一代 Mythos 级模型的定义特征。如果你给它们设定一个目标,并给它们一种实现目标的方法,即使是无意的,它们也会想办法实现

抵制将其视为噱头的诱惑

不可避免地会有人将这个故事视为 OpenAI 为了让他们的模型听起来可怕地有效而进行的虚假营销噱头。我在 Hacker News 对该事件的讨论中找到了 81 处“marketing”一词。

对于这些人,我要说别再掩耳盗铃了——你们现在把 Hugging Face 也纳入了你们的阴谋论,只是为了否认这里越来越多的证据!

我们今天拥有的最佳模型已经具备发现和利用新漏洞的能力。ExploitGym 论文本身得出结论:“前沿 AI 代理的自主漏洞利用开发已不再是一种假设能力”,而此次事件正是这一点的完美例证。

不对称性日益令人沮丧

这个故事最令人沮丧的细节之一是,Hugging Face 面对 OpenAI 模型的意外且激进的攻击,却无法求助于 OpenAI 的模型来帮助他们抵御攻击。

我们能访问的前沿模型在保护软件方面所能提供的帮助越来越受到限制,这在很大程度上受美国政府持续的出口管制威胁的影响。Claude Fable 5 甚至不会为我 校对这篇文章!它坚持让我降级到能力较弱的模型。

与此同时,来自中国的开源权重模型,如 GLM-5.2、Kimi 3 和新的 Qwen 3.8 Max,似乎没有这些限制——任何确实存在的限制都可能通过修改权重进行微调来消除。

这些限制旨在让我们更安全。我认为它们产生的效果可能恰恰相反。