隨著 Anthropic 的 Claude Sonnet 5 於週二發布，其基準圖表也隨之亮相，顯示在程式碼撰寫、推理和代理任務方面的進展。Sonnet 5 系統卡同時也敘述了另一個故事。它預示了當 AI 代理開始自主行動後會發生什麼。

這份 系統卡 長達 145 頁，卻將相對較少的篇幅用於基準提升。相反地，文件的大部分內容都在評估代理如何瀏覽網頁、使用工具、規劃長期執行的任務、抵禦提示注入，以及在執行出錯時恢復的能力。它恢復的方式，透露了 Anthropic 認為讓代理變得可靠的下一項工程挑戰在哪裡。

Sonnet 5 系統卡引入了先前世代大型語言模型中幾乎未曾出現的評估項目。例如，第 5 節單獨涵蓋了程式碼代理、電腦使用代理和瀏覽器代理的惡意使用；自主影響操作；以及跨多個攻擊表面的提示注入穩健性——其中包含一個即時的漏洞賞金計畫，用來測試自適應攻擊者對程式碼、電腦使用和瀏覽器使用環境的攻擊。

Anthropic 也公布了 SHADE-Arena 和 LinuxArena 的評估結果，這些評估用於判斷代理是否會試圖隱密行動——在表面遵循指示的同時追求隱藏目標。Sonnet 5 在這些評估中的隱密率接近零，但 Anthropic 執行這些測試本身，就顯示了他們多麼重視「在聊天視窗中表現良好的模型」與「在被賦予持續自主權時能可靠運作的模型」之間的差距。

在提示注入方面，系統卡描述了跨三種不同代理表面的穩健性測試：程式碼環境、電腦使用和瀏覽器導航。結果顯示比 Sonnet 4.6 有進步，但評估設計本身就透露了關鍵資訊。Anthropic 正在徹底檢查瀏覽網頁的代理是否會被其所造訪頁面中嵌入的指令劫持。

為什麼這對工程團隊很重要

組織希望代理能夠調查事件、審查拉取請求、更新文件、導航內部系統，並在最少監督的情況下協調工作流程。這些工作負載對周邊基礎架構提出了新的需求，遠遠超出了模型本身。

本質上，這些是基礎架構模式；是當代理承擔更長時間、較少監督的工作時，工程團隊需要建置和維護的那類管線。

一項長時間執行的任務可能因無數方式中斷，例如工具呼叫在執行中途逾時，或瀏覽器工作階段在重新導向後遺失上下文。每一次中斷都會迫使代理理解發生了什麼變化、保留其進度，並決定如何繼續——或認知到自己無法繼續。

代理的基礎架構模式

Anthropic 自身的評估基礎架構提供了這些系統樣貌的一瞥。系統卡描述了諸如工具結果清除等功能，當代理累積上下文時移除過時的工具輸出，以及允許資訊在作用中上下文視窗之外持續存在的記憶體工具。

這些功能解決了代理在較長時間內工作時所產生的實際問題。狀態必須跨多個步驟持續存在，外部工具必須保持同步，而故障必須在代理繼續使用過時或不完整資訊之前被偵測到。

代理部署失敗之處

系統卡提供了幾個關於 Anthropic 認為 AI 競賽走向何方的提示。首先，基準測試似乎正在收斂，因為頂尖模型在標準評估上的差距持續縮小。尚未收斂的是，代理是否能在兩小時的程式碼任務中不遺失上下文、瀏覽網頁而不被惡意頁面劫持，或在 API 呼叫失敗後重新恢復。

對於評估代理平台的工程團隊而言，系統卡同時也作為一份清單，列出生產環境中真正重要的問題。基準分數只是畫面的一部分。同樣重要的是了解平台如何處理失敗的工具呼叫、如何在長時間執行的任務中保留狀態，以及當代理在工作流程中途遺失上下文時如何恢復。這些情況決定了自主系統在部署後是否能持續可靠運作。

YOUTUBE.COM/THENEWSTACK

科技發展快速，別錯過任何一集。訂閱我們的 YouTube 頻道，即可觀看所有播客、訪談、示範以及更多內容。

Group Created with Sketch.