我們認為能夠可靠地識別 AI 生成的寫作非常重要，因此我們開發了一個偵測器來完成這項任務。由於這個問題如此重要，透明說明其運作方式是必要的。

當任何作者撰寫句子時，他們會做出數千個有意識與無意識的決定，決定句子應如何組成。從根本上來說，AI 偵測是一個作者識別的問題——將哪些決定歸類為哪種作者的典型特徵。我們能夠做到這一點，是因為雖然像 ChatGPT 這樣的 LLM 不是人類，但它們仍然是一個做出決定的單一作者。它們可能做出的決定種類也受到限制：助理模型需要產生有幫助、清晰的寫作才能有效回答問題。這些偏好在訓練期間已植入模型中，一旦存在，就很難阻止它們浮現。

Pangram 是一種稱為分類器模型的神經網路。廣義來說，Pangram 會讀取一段寫作，並利用大量已學習的模式，估計該段落是否為 AI 生成。

Pangram 透過建立一種地圖來學習區分人類與 LLM 寫作，將寫作風格相似的作者放在相近的位置，而風格不同的作者則放在較遠的位置。在這張地圖上，人類撰寫與 AI 生成的文本會形成不同的集群，我們的研究顯示 Pangram 甚至能將主要商業語言模型（如 ChatGPT 和 Claude）定位在不同區域。

當 Pangram 遇到從未見過的寫作時，會將其與已知的文本比較，決定它應該放在地圖上的哪個位置。寫作的任何單一面向都不會決定最終位置，因此人類作者不會僅因為 ChatGPT 採用了他們喜愛的寫作手法（如破折號）而被誤判。明顯的 LLM 特徵只是 Pangram 考量的數十萬個訊號之一。

如果最終座標落在人類撰寫的區域，Pangram 會預測該文本為人類撰寫；如果落在較模糊的區域，或同一文本的不同段落指向不同方向，Pangram 就會開始懷疑其中可能包含 AI 寫作。這就是 Pangram 設定最低字數的原因：字數越多，座標越精確。同樣的方法也幫助 Pangram 泛化到新的 AI 模型版本，這些新模型往往繼承了前代模型的風格與語氣，因此會佔據地圖上非常相似的區域。

先前嘗試偵測 AI 寫作的努力都遭遇了徹底且公開的失敗。這是因為它們試圖反向工程大型語言模型產生文本的方式。在句子的每個詞之後，這些偵測器會問：如果我是 LLM，下一個詞我會預期是什麼？

例如，給定一個句子片段如「I'm going to take my dog for a …」，AI 模型可能會認為「walk」或「run」是非常可能的下一個詞，而像「harbinger」或「verglas」這樣的非邏輯詞則不會是可能的候選詞。早期的偵測器試圖重建 LLM 對可能詞彙的排序，並與實際出現的詞比較，因此文本越常遵循可預測的選擇，偵測器就越可能將其分類為 AI 生成。本質上，這反映了 LLM 遇到句子中下一個詞時會感到多困惑，因此這種 AI 偵測模式被稱為困惑度分析。

困惑度分析有很多問題。它不是一個好的區分指標，因為人類句子經常與 LLM 散文一樣受限。因此可預測或結構化的人類寫作常常被困惑度偵測器誤判，同時這些偵測器也容易被明顯的策略繞過，例如將詞彙替換為較不常見的同義詞。

著名的例子是，困惑度模型在許多電腦問世前就已存在的文本上也會失敗。基於困惑度的偵測喜歡告訴你《聖經》、《獨立宣言》或瑪麗·雪萊的《科學怪人》是 100% AI 生成的。它這樣做是因為 LLM 在訓練過程中讀過《獨立宣言》數千次，因此其中每個下一個詞從 LLM 的角度看都非常不令人驚訝。偵測器將這種可能性誤解為寫作是 AI 生成的證據。

Pangram避免了這個問題，因為它並非試圖反向工程 LLM 如何生成文本。Pangram 不是查看每個詞並問「LLM 在這裡會寫什麼？」，而是查看整個文本並問「這聽起來像誰寫的？」這樣一來，ChatGPT 的熟悉程度永遠不會導致 Pangram 將歷史文件誤判為 AI 生成——但並非所有情況都這麼簡單。

訓練一個分類器達到 98% 的準確率並不困難。大多數 AI 寫作都很容易辨識，神經網路可以快速學習最明顯的特徵。就像幾乎任何人都能比較 E. E. Cummings 的詩與《卡拉馬佐夫兄弟》的引文，並得出結論它們是由不同作者撰寫的一樣，基本分類器可以輕易區分 AI 生成的義大利麵食譜與人類的日記條目。但在 AI 偵測中，98% 的準確率極為糟糕：2% 的錯誤率意味著每 50 份文件就會誤判一份，這會讓任何預測都受到質疑。因此，如果你是前 2% 的陀思妥耶夫斯基辨識者，你會用什麼策略成為前 0.01%？

在這個層級，直接重讀陀思妥耶夫斯基會產生遞減回報——縮小差距需要找到只有陀思妥耶夫斯基才能產生的特徵。一個好策略可能是聘請幾位專業模仿者撰寫最逼真的陀思妥耶夫斯基複製品，並研究其中的差異。這就是我們訓練 Pangram 的方式：對於我們商業授權的人類撰寫文本資料集中的每個元素，我們都會生成一個盡可能接近原始來源的 AI 複製品。這些複製品具有相同的長度、語氣與主題，但由 AI 生成。然後我們在這些人類-AI 文本對上訓練 Pangram 模型。

在學習區分這些配對的過程中，Pangram 有效地提高了其內部地圖上邊界區域的解析度。為了確保 Pangram 的地圖盡可能準確，我們對資料污染極為謹慎：我們已知人類文本的資料集來自 2021 年及更早的時期，那時 AI 尚未在網路上氾濫。這目前運作良好，但我們意識到必須隨著語言的演變而調整。在資料漂移成為問題之前預先解決它，是我們最重要的研究優先事項之一。

Pangram 是一個僅根據文本做出預測的統計模型，因此其準確性也必須以統計方式測試。這正是我們所做的。我們為每個發布的 Pangram 模型，以及每次 AI 實驗室更新其 LLM 時，都會發布內部基準。我們也已接受獨立第三方（如芝加哥大學和馬里蘭大學的團隊）的測試與驗證。

如果你是研究人員——或者你有很好的想法並承諾發表結果——你可以申請我們的API 信用額度補助，並自行測試我們的模型。我們一直在尋找改進的方法。

關於這篇文章的討論

準備好了解更多了嗎？