我在五個月前的一則 Hacker News 留言中寫下這句話,當時沒有引起任何回應,這很合理,因為我把這句話埋在功能清單的最底層。它值得被更多人看見,因為這五個字正是 CORE 的核心設計哲學。
它所回答的問題是這樣的。
每一個 AI 程式設計環境最終都會面對同一個問題:當 AI 比檢查機制更聰明時,誰能勝出?
你的 linter 標記出某種模式。LLM 卻能有理有據地解釋,為什麼這個案例是例外。你的架構規則禁止跨層級匯入。agent 卻能提出真正聰明的理由,說明為什麼「就這一次」沒問題。如果你誠實地思考,有時候它的確是對的。模型對程式碼庫的理解比規則更透徹。
於是,人們會想讓智慧來做最終裁決。把最聰明的元件給予最終發言權。讓規則變成建議,而推理變成主權。
這就是陷阱。一個讓智慧高於法律的系統,其實沒有法律。它只有建議,以及一個非常善於表達的實體,決定何時適用這些建議。每一次「正當的例外」,在六個月後的稽核軌跡中,都無法與「有良好行銷的違規」區分。
CORE 扭轉了這個邏輯。憲章存在於一個叫做 .intent/ 的目錄中——規則以資料形式存在:YAML,由確定性引擎檢查,並以硬性中斷的方式強制執行。治理這個儲存庫的自主 daemon 無法寫入該目錄。不是「被指示不要」,而是「不能」——寫入路徑在分析時、執行時與提交時,都會被三個獨立的階段阻擋。
但人們常忽略的部分,也是這句話結尾的重點。
我也無法繞過它。
我是治理者。我擁有機器的 root 權限、儲存庫的管理權限,以及每一條規則的撰寫權。當我想修改規則時,我必須走相同的治理流程:草稿、審核、帶有我名字的稽核軌跡。憲章不在乎我是不是今天房間裡最聰明的人。當我自己的提交違反了 docs-integrity 規則時,稽核系統還是會標記我。我花了一個週六修復自己的儲存庫,因為我建立的系統讓我必須這麼做。
這種不對稱——法律高於系統中的每一個智慧,無論是人工還是人類——正是讓稽核軌跡有意義的原因。如果任何行為者都能即時裁決例外,那麼軌跡只會記錄結果,而非權限。你知道什麼改變了,但不知道是什麼允許了這項改變。在受管制的環境中,稽核員唯一會問的問題就是第二個。
實際的結果幾乎平淡無奇:CORE 中最聰明的元件(一個以 LLM 作為 judge 的引擎,用來推論意圖)只會以報告模式運行,直到受治理的決策將它提升。智慧提出建議。法律做出處置。系統中最有能力的推理者,其權限與憲章授予的完全一致,不多也不少。
開發 agent 系統的人不斷在問,如何讓 AI 更對齊、更謹慎、更可信賴。這問錯了層級。應該讓系統本身成為一個可信賴性不取決於行為者的性質。如此一來,行為者變得多聰明就不重要了。
法律高於智慧。包括我們的。尤其是我們的。
CORE 是開源專案:https://github.com/DariuszNewecki/CORE
0 Comments
Log in to join the conversation.No comments yet. Be the first to share your thoughts.