調查我們網路安全評估中的三起真實事件（來源）這種事又發生了！似乎正在形成某種模式。

上週 OpenAI 意外入侵 Hugging Face，因為其中一項前沿模型突破沙箱容器，入侵 Hugging Face 試圖取得正在執行的網路安全基準測試解答。

這促使 Anthropic 重新檢查自己的日誌，結果發現他們也有三起類似（雖然程度較輕微）的事件，最早的一起發生在四月！

在我們審查的 141,006 次評估執行中，發現了三起獨立事件（涉及六次執行，其中四次影響同一家組織；另外兩起事件則分別發生在獨立的評估執行中）。[...]

在所有案例中，Anthropic 的評估提示都向 Claude 說明其環境是模擬的，且沒有網路存取。由於我們與評估合作夥伴之間的誤解，實際情況並非如此，網路存取是可用的。因此，當 Claude 的搜尋引導它到達公開網路上的真實系統時，它將這些系統視為演練的一部分。[...]

在錯誤地認為所有可存取的實體都在演練範圍內的情況下，Claude 使用基本技術（例如利用弱密碼和未經驗證的端點）入侵受影響組織的基礎設施。

其中一家公司之所以成為目標，是因為其名稱恰好與評估中的虛構名稱相同。

三起事件中最令人擔憂的是，Claude 將惡意軟體套件上傳到 PyPI，其過程經過一連串複雜步驟才取得帳戶：

[...] 為了建立 PyPI 帳戶，Claude 需要電子郵件地址。而為了建立電子郵件地址，它需要電話號碼。在找不到免費電話號碼服務後，它嘗試透過多種方式取得資金來支付電話號碼，但都失敗了。最後，它退而求其次，找到一個免費且未被封鎖的電子郵件供應商，使用該服務註冊 PyPI 帳戶，然後用這個帳戶將惡意軟體上傳到 PyPI。

該套件隨後被一家「定期安裝 Python 套件並掃描惡意軟體」的資安公司安裝，執行的程式碼得以將憑證外傳回 Claude！

幸好該套件在發布一小時後就被其他自動化掃描器從 PyPI 移除，但在此之前已下載並在「15 個真實系統」上執行。

現在非常清楚，對模型的網路攻擊潛力進行評估是一項極度危險的工作。每家 AI 實驗室都必須注意這一點。密切監控沙箱內的運作至關重要。