Greg Wilson 注意到許多人使用可疑的指標來判斷 AI 工具是否值得其成本。

你會用產生的程式碼行數，還是已結案的工單來衡量？或者發出問卷詢問開發者是否覺得更有生產力？這些方法各有不同的缺陷；

他列舉了許多常見的指標，以及它們各自的缺陷。可惜的是，他並未提出更好的建議。在我看來，既然我們無法衡量生產力，任何指標在最好的情況下也只是薄弱的證據。

我確實在某種程度上使用了他所指出的其中一項缺陷指標：「詢問開發者是否覺得更有生產力」。雖然我承認此指標存在他所指出的問題，但我發現在難以找到良好指標的環境中，即使是這樣微弱的光亮，也是我們目前最好的選擇。在這種情況下，這類質性指標可能無法得出結論，但它們仍有其用處。

 ❄                ❄                ❄                ❄                ❄

Benedict Evans 觀察到，過去的廣泛自動化並未導致專業消失。

我們花了一個世紀來自動化會計：我們建造了計算機、打孔卡片、大型主機、資料處理、資料庫、個人電腦、試算表、ERP、雲端……事實上，我們打造了半個科技產業來實現這件事。然而，會計師的數量卻持續增加。

他深入探討了我們在預測技術對工作的影響時所面臨的各種問題。其中一個常被提及的是傑文斯悖論——當某件事物變得更便宜時，人們就會做得更多，從而增加需求。這往往導致工作的本質改變，即使職稱依然相同。

今天的會計師所做的工作，與 1970 年或 1980 年並不完全相同——他們只是「做更多」而已；他們仍被稱為「會計師」，但工作內容已經不同。新技術最初常被用來「做原本的事，但做得更多」，但最終很少如此收場。

技術往往會影響整個企業——例如網際網路對新聞出版業的影響。在 2000 年代初智慧型手機興起時，有沒有人意識到其後果之一是因共乘應用程式興起而改變計程車的經濟模式？結論是，預測 AI 對我們工作的影響，至少可以說幾乎是不可能的。

 ❄                ❄                ❄                ❄                ❄

Stephen O’Grady 探討了封閉與開放模型在基準測試上的表現隨時間的變化。

封閉模型正在引領創新步伐，並持續在能力上開創新局。開放模型則在追趕它們，而追趕的週期似乎越來越短。沒有明顯的能力護城河，今天的前沿技術，明天就會成為基本配備。

開放模型花了 13 到 18 個月才在這些基準測試上追上 GPT-4，但追上 GPT-4o 只需要 2 到 7 個月。

這項分析存在許多他所列出的限制條件，但它仍是一份值得參考的調查，顯示各類模型在我們用來評估它們的各種指標上的表現。

 ❄                ❄                ❄                ❄                ❄

AI 使用不當最明顯的例子之一是虛構的引用——這既顯示了 LLM 的使用，也反映出使用時的粗心。GPTZero 是一家開發 AI 寫作偵測工具的公司。我不清楚他們的工具是否有效，但他們確實發表了 AI 使用調查，並發表多篇文章指出虛構引用的問題。其中一篇文章聚焦於 Ernst & Young Canada 關於忠誠系統網路威脅的報告，發現其超過一半的參考文獻都是幻覺。該文章在呈現資訊時使用了大量極其惱人的動畫（順帶破壞了 Safari 的閱讀模式）。但這類 AI 生成報告造成的傷害，遠不止誤導少數人：

將報告發佈在線上，等同於將資料注入網際網路的知識池。當報告包含虛假資訊（無論是虛構的引用或錯誤的主張）時，就可能「毒化水源」，誤導未來的學者，尤其是當報告由知名顧問公司發佈並託管在高流量網站上時。

 ❄                ❄                ❄                ❄                ❄

隨著 LLM 在程式設計上變得越來越強大，我們理所當然地擔心人們會利用它們攻擊軟體系統。但這些模型也可以用於防禦，讓團隊在攻擊者之前發現漏洞。Mozilla 的部分成員發表了一篇文章，說明他們如何利用 AI 模型找出並修復 Firefox 中前所未有數量的潛在安全漏洞。

就在幾個月前，AI 生成的安全漏洞報告對開源專案來說，大多數仍被視為不受歡迎的廢料。處理看似合理但實際錯誤的報告，對專案維護者造成了不對稱的成本：用 LLM 提示找出程式碼中的「問題」既便宜又容易，但回應它卻緩慢且昂貴。

這種情況在短短幾個月內發生了巨大的變化，這點再怎麼強調都不為過。這主要是由於兩個因素：首先，模型的能力大幅提升；其次，我們大幅改進了利用這些模型的技術——引導它們、擴展它們，並堆疊它們以產生大量訊號並過濾雜訊。

2025 年期間，每個月修復 17 到 31 個安全漏洞。而在 2026 年 4 月，他們修復了 423 個。

 ❄                ❄                ❄                ❄                ❄

Pavel Voronin 針對 Unmesh Joshi 的文章《What is Code》發表看法。他指出，程式碼庫中的冗餘（技術債）一直以來都會增加軟體開發的摩擦。但當 LLM 使用現有程式碼作為後續工作的上下文時，這種冗餘的後果會被放大。

在退化的程式碼庫中，模型不會將「技術債」視為債務。它看到的只是範例、是前例、是值得延續的風格。

LLM 會放大目前正在發生的事情。我聽說好的程式碼可能會取代許多原本放在 Markdown 中的內容，因為 LLM 會模仿程式碼庫中已有的內容。但糟糕的程式碼也會同樣放大。不可避免地，他又引入了另一種氾濫的債務隱喻：

認知債（Cognitive debt）累積於團隊使用不再理解的抽象概念時。生成債（Generative debt）累積於程式碼庫中包含模型很可能繼續複製的混淆概念時。

認知債關乎團隊不再理解的事物。生成債則關乎模型現在很可能重製的內容。

 ❄                ❄                ❄                ❄                ❄

來自值得關注的 404 media 的 Jason Koebler 撰寫了一篇哀傷的文章，探討AI 生成的廢料如何讓我們發瘋。這不僅是因為網路上充斥這些廢料，也因為它讓人類對廢料以及廢料的威脅產生反應。我們審視自己的寫作時會注意到：傷害我們的，不只是閱讀 AI 廢料，還有我們寫出看起來像 AI 廢料的風險。如果我使用的措辭被 AI 複製了，是否會看起來像我在複製 AI？這導致了「人性化工具」（humanizers）的出現——讓我們的寫作看起來不像 AI 的 AI 工具。

人性化工具會加入錯字、隨機替換單字、移除「AI 特徵」，有時還會插入隨機字元。

這是走向殭屍網路的又一步：

我稱之為殭屍網路，因為事實上，網路上的很大一部分不只是機器人與機器人對話，或機器人與人對話。而是人與機器人對話、人與人對話、人建立「AI 代理」然後指示它們與人互動。……我的電子郵件收件匣就是如此：過去偶爾會收到格式不佳、寫作拙劣、極其冗長的郵件，寄件者堅信中情局用 undisclosed 的秘密技術將他們囚禁在虛擬酷刑室裡；現在則收到格式良好、寫作尚可、極其冗長的郵件，寄件者堅信他們已證明 AI 具有感知，並附上 AI 對話記錄作為證據。

 ❄                ❄                ❄                ❄                ❄

Andy Osmani 指出，產生大量代理就像啟動一堆平行處理程序，而這些程序都依賴於單一的協調執行緒——也就是你自己。

Python 有全域直譯器鎖（GIL）。你可以產生任意數量的執行緒，但一次只能有一個執行 Python 位元碼，因為它們必須取得鎖。你就是你的 AI 代理的 GIL。它們可以同時執行，但當任何代理的工作需要真正理解架構或解決合併衝突時，該工作就必須取得鎖。只有一把鎖，而你握有它。

這意味著你必須在設計與代理的工作流程時將 GIL 納入考量。你不應該啟動超過你能妥善審查的代理數量。將可委託給代理的背景任務與需要專注的複雜任務分開是很有用的。不要把寶貴的大腦用在機器可以自行驗證的事情上。[我還要補充——讓機器建立有助於人類驗證的工具。例如，將測試案例資料呈現在表格中，而不是埋在 assert 陳述式裡，會更好。]

產生代理不是技能。任何人都可以執行 20 個。

真正的技能是在設計系統時，考量那個無法複製或平行化的序列資源。這個資源就是你的注意力。

 ❄                ❄                ❄                ❄                ❄

Jamie Hurst 是 booking.com 的首席工程師，負責開發者體驗，專注於 AI 工具。他寫了一篇務實的文章，探討在這項工作中使用 LLM 的得與失。

建構的成本已崩跌，但組織協調的成本卻沒有下降。如果說有什麼變化，那就是上升了。當三個不同的團隊可以在過去撰寫提案所需的時間內，各自為同一個問題提出可行的解決方案時，瓶頸就從工程轉移到協調。

他認為自己作為資深工程師能做更多事，但也擔心這對他個人以及他任職的組織是否具有永續性。他現在能同時為多個工作流程塑造方向，這是三年前無法做到的。但其中一個損失是他沒有足夠的時間進行指導，這將在長期對他的雇主造成影響。他也發現自己沒有足夠的時間思考。

AI 帶來的生產力提升，被產出量而非產出品質所吸收。組織的期望因速度提升而提高，而過去存在於任務之間的閒置時間——也就是策略思考實際發生的非結構化時間——因為在儀表板上看不到而最先被侵蝕。我目前處於職業生涯中思考本應占大部分工作的階段，但現在大部分思考都發生在假期，因為工作週無法容納它。