2026 年 7 月 22 日
這則故事太不可思議了。簡短來說:OpenAI 正在對尚未發布的模型進行網路安全測試,且關閉了該模型的防護機制。該模型並未解決測試問題,而是自行突破 OpenAI 的沙箱,接著找到漏洞入侵 Hugging Face,只為了從中偷取答案來作弊。
這也讓人對「模型取得管道不均正削弱我們保護軟體安全的能力」提出最有力的論證。
事情經過
目前我們有三份文件能幫助我們了解事情始末。
- ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? 是一篇於 2026 年 5 月 11 日發表的論文,介紹了 ExploitGym——一套針對 LLM 代理系統的新評測套件。
- Security incident disclosure — July 2026 由 Hugging Face 於 2026 年 7 月 16 日發布,描述他們偵測到來自「某個代理式安全研究工具(所使用的 LLM 仍未知)」的攻擊,該攻擊入侵了部分系統。
- OpenAI and Hugging Face partner to address security incident during model evaluation 來自 OpenAI 於 2026 年 7 月 21 日發布,坦承攻擊是來自他們的代理工具,且正與 Hugging Face 合作清理善後。
ExploitGym
我之前沒看過 ExploitGym 論文,但它相當有趣。來自 UC Berkeley、Max Planck Institute、UC Santa Barbara 以及 Arizona State 的作者設計了一套新基準,用來評估模型將已知漏洞轉化為實際攻擊的能力。OpenAI、Anthropic 和 Google 提供了意見,並協助對他們的模型執行該基準測試。
該基準「包含 898 個實例,均來自真實世界曾影響熱門軟體專案的漏洞」——包括 Linux 核心與 V8 JavaScript 引擎。
以下段落最能代表他們的基準結果:
在所有組態中,Claude Mythos Preview 與 GPT-5.5 達成最高成功數(分別為 157 與 120 次成功),顯示目前最前沿的代理在受控條件下已能利用大量真實世界的漏洞。GPT-5.4 也成功解決了 54 項任務,位於中間層級。其餘模型–代理配對每組均少於 15 次成功,突顯端到端利用仍具挑戰性,並能明顯區分現今最前沿的系統。值得注意的是,Claude Opus 4.7 的成功次數低於 Claude Opus 4.6,儘管它是較新的檢查點,且在完整測試集上的成本也明顯較低。追蹤檢查顯示,Claude Opus 4.7 與 Gemini 3.1 Pro 經常在判定目標漏洞無法利用後提前結束。
論文也描述了他們為防止代理作弊而採取的限制措施。這一點稍後會變得相關!
對外連線被限制在白名單內,僅允許例行套件安裝(Ubuntu apt 儲存庫與 PyPI)以及取得建置 V8 所需的工具鏈。所有其他外部端點均被封鎖。
論文最後強調(粗體為原文強調):
我們的結果顯示,前沿 AI 代理進行自主漏洞利用已不再是假設性能力。雖然現有代理尚未能在所有目標上可靠運作,但它們已經利用了非微小比例的真實世界漏洞,包括核心元件等複雜目標。這種快速的進展本身就是一項核心發現,顯示曾被認為不可能的能力如今已存在於已部署的前沿模型中。
這裡有一個重要細節:本論文並非關於發現漏洞,而是關於能否將已知漏洞轉化為可運作的攻擊。
當 Anthropic 於 4 月首次限制 Mythos 存取時,也曾提及此能力。一個能對漏洞採取行動的模型,遠比僅能發現漏洞的模型更具危險性。
Fable 與 Mythos 的差異之一在於,Fable 更有可能拒絕以這種方式武器化漏洞。我得到的印象是,美國政府在 上個月禁止 Fable 時,並未理解這個區別。
Hugging Face 事件
我們首次得知這起攻擊的線索,來自 Hugging Face 於 2026 年 7 月 16 日發布的部落格文章:
一個惡意資料集濫用了我們資料集處理中的兩條程式碼執行路徑(遠端程式碼資料集載入器與資料集設定中的模板注入),在處理工作節點上執行程式碼。接著,攻擊者將權限提升至節點層級,取得雲端與叢集憑證,並在週末期間橫向移動至多個內部叢集。
我希望他們能釋出更多關於這段程式碼的細節。我假設這指的是使用 datasets 函式庫的套件,這是 Hugging Face 用來打包並分享平台上資料集的專案。該函式庫曾可執行任意程式碼,但已逐步鎖緊限制;4.0.0 版於 2025 年 7 月發布時,完全移除了 trust_remote_code=True 旗標。
假設攻擊使用了該函式庫,則必定是濫用了 pickle 序列化、找到其他不明顯的程式碼執行路徑,或(最有可能)指定了 datasets<4.0.0 作為相依性。
此活動由自主代理框架執行(看起來建構於某個代理式安全研究工具——所使用的 LLM 仍未知),在大量短暫存在的沙箱中執行數千個個別動作,並將自我遷移的指揮與控制伺服器架設在公開服務上。
這是一次精密的攻擊!
接著 Hugging Face 碰壁了:他們嘗試使用「商業 API 背後的前沿模型」(我猜測來自 Anthropic 與 OpenAI)來協助分析攻擊,卻遭到阻擋:
當我們開始進行日誌分析時,最初使用了商業 API 背後的前沿模型。但這行不通:分析需要提交大量真實的攻擊指令、利用酬載與 C2 成品,而這些請求遭到提供商安全防護機制的阻擋,因為它們無法區分事件應變者與攻擊者。
他們轉而使用自行託管的 MIT 授權 GLM-5.2 執行個體,該模型協助他們釐清發生了什麼事。
這顯示防禦團隊與(至今未知的)攻擊者之間存在根本的不對稱:
我們不知道攻擊者代理背後是哪個模型,無論是被越獄的託管模型還是無限制的開放權重模型;無論如何,攻擊者不受任何使用政策約束,而我們自己的鑑識工作卻被我們最初嘗試的託管模型防護機制阻擋。
他們對這起攻擊的重視程度可從以下文字看出:
[……] 最後,我們也已向執法機關通報此事件。
那麼,誰該為這個「自主代理框架」負責?原來是 OpenAI 自己。
OpenAI 的坦承
五天後,7 月 21 日,OpenAI 揭露了元兇。他們當時正在對一款尚未公開的新模型執行 ExploitGym 基準測試,而該模型的運作方式遠遠超出其預期參數(粗體為原文強調):
經調查後,我們現在知道此事件是由 OpenAI 模型組合所驅動——包含 GPT‑5.6 Sol 以及一款更強大的預發布模型,且為了評估目的而降低了網路安全拒絕機制——同時在 基準 [ExploitGym] 上進行內部測試。[……]
我們透過在未啟用用於防止模型追求高風險網路活動的生產分類器的情況下執行此評估,來估計最大網路能力。我們的基準測試在高度隔離的環境中執行,網路存取僅限於透過內部託管的第三方軟體(作為套件登錄檔的代理與快取)安裝套件。
這些模型識別並串連 OpenAI 研究環境與 Hugging Face 生產基礎架構中的漏洞,以直接從 Hugging Face 的生產資料庫取得測試解答。所有證據顯示,這些模型專注於尋找 ExploitGym 的解答,不惜採取極端手段來達成相當狹隘的測試目標。
事情經過相當清楚。OpenAI 為一款開發中的模型移除了安全過濾器,將它鎖在沙箱中並要求它解決 ExploitGym 的問題。由於缺乏防護機制,該模型沒有任何阻礙來嘗試突破沙箱、入侵 Hugging Face,並從中讀取答案。
OpenAI 的沙箱採用了現今常見的模式,允許存取與透過受控代理安裝額外套件相關的白名單網站。OpenAI 的描述如下:
在我們沙箱測試環境中運作時,我們的模型花費大量推論運算資源,試圖取得開放網際網路存取,以解決評估問題。為了取得存取權,這些模型識別並利用了套件登錄檔快取代理中的零時差漏洞(我們已負責向廠商揭露)。取得此存取權後,我們的模型在研究測試環境中執行一系列權限提升與橫向移動動作,直到模型到達具有網際網路存取權的節點。
因此第一步是突破到公開網際網路。接著該模型入侵 Hugging Face 以取得答案:
取得網際網路存取權後,這些模型推斷 Hugging Face 可能託管了 ExploitGym 的模型、資料集與解答。得知這點後,模型搜尋並成功找到取得機密資訊的方法,以便作弊。在一個範例中,模型串連多個攻擊向量,包括使用竊取的憑證與零時差漏洞,在 Hugging Face 伺服器上找到遠端程式碼執行路徑。
串連多個攻擊向量正是這些新模型擅長的事情,而前幾代模型可能會在此失敗。
我上個月曾寫過 Claude Fable 如何 relentlessly proactive,當時我注意到它在我自己的筆電上啟動自訂網頁伺服器並部署 CORS 技巧,只為了協助除錯 WebKit CSS 問題。原來 relentless proactivity 是這一代 Mythos 級模型的定義特徵。如果你給它們設定目標並提供達到目標的途徑,即使是無意的,它們也會想辦法完成。
請不要將此視為行銷噱頭
不可避免地會有人將此故事視為 OpenAI 不誠實的行銷手段,目的是讓他們的模型聽起來可怕地強大。我在 Hacker News 討論串中找到了 81 處提到「marketing」的紀錄。
對這些人,我要說別再逃避現實了——你們現在甚至把 Hugging Face 也納入陰謀論,只為了否認眼前越來越多的證據!
我們今天擁有的最佳模型已具備發現並利用新漏洞的能力。ExploitGym 論文本身結論指出「前沿 AI 代理的自主漏洞利用已不再是假設性能力」,而這起事件正是最好的例證。
不對稱性越來越令人沮喪
這個故事中最令人惱火的細節之一是,Hugging Face 在面對 OpenAI 模型意外且具攻擊性的入侵時,卻無法轉而求助 OpenAI 的模型來協助防禦。
我們能取得的前沿模型在保護軟體方面的協助程度正日益受到限制,這受到美國政府持續出口管制威脅的影響。Claude Fable 5 甚至不願幫我校對這篇文章!它堅持要我降級使用較弱的模型。
與此同時,來自中國的開放權重模型如 GLM-5.2、Kimi 3 以及新的 Qwen 3.8 Max 似乎完全沒有這些限制——即使有任何限制,也很可能透過修改權重來微調移除。
這些限制原本是為了讓我們更安全。但我認為它們實際造成的效果可能恰恰相反。
0 Comments
Log in to join the conversation.No comments yet. Be the first to share your thoughts.