若模擬結果可信，新創公司 Tensordyne 的新型 AI 晶片在能效與推論延遲方面，可能大幅超越市場領導者 Nvidia。該公司已將其首款晶片的設計送交製造，72 晶片系統預計於 2027 年下半年開始商業銷售。Tensordyne 宣稱，其 72 晶片系統執行大型 LLM 的速度可達 72 顆 Nvidia GB300 系統的四倍，且功耗僅為其五分之一。然而，實際系統需等到今年年底才能驗證這些數據。

這項超出預期的效率背後，Tensordyne 新晶片 Napier 的不傳之秘在於其執行矩陣乘法的方式——這正是 AI 運算的核心。它利用「A 乘 B 的對數等於 A 的對數加上 B 的對數」這一特性。

「我們將乘法器轉換為加法器，」Tensordyne 創辦人兼 AI 副總裁 Gilles Backhus 解釋道。相較於乘法器，加法器是體積更小、能效更高的 邏輯電路，他表示。因此，Napier 能在更小的面積內塞入更多運算單元，同時節省功耗。

新型數字格式

這類技術的可行性早已為人所知，但過去一直缺乏實用方法，因為在對數數字與描述 神經網路 的 浮點數 之間來回轉換，耗時耗能且容易產生誤差。不過，根據 Backhus 的說法，現在情況已有所改變。

「到目前為止，還沒有人能像我們這樣完成線性到對數以及對數到線性的轉換，」他說。「這其實是整個技術的關鍵。我們的工程師已找出在矽晶片上以極為優雅、精準且低成本的方式實現這些轉換的方法。」

數字格式的重要性已獲得 AI 產業的重視。Nvidia 首席科學家 Bill Dally 在 2023 年 IEEE Hot Chips 會議上指出，當時該公司 GPU 的多數 效能提升，都來自採用更短的 數字格式 以及因此得以縮小的電路。

研究人員也開發過其他替代格式的運算電路，例如類似對數的 posit，以及近期其科學運算對應版本 takum。然而，這些格式因硬體實作與傳統浮點數差異過大，尚未普及。

推論需求影響架構設計

隨著 AI 代理 的興起等市場趨勢，推論（執行神經網路模型）的需求已逐漸超越訓練新 大型語言模型 (LLM)。答案的成本與傳遞速度等因素開始成為主導，促使 AI 公司尋求更適合推論的系統架構。

Tensordyne 高層表示，他們早已預見此趨勢，並據此設計了其電腦系統。

Silver chip with green circuitry on black background Tensordyne 的 Napier AI 晶片內建 144 GB HBM，但真正的優勢來自其獨特的數學運算方式。Tensordyne

執行 LLM 主要有兩個階段：prefill 與 decode。在 prefill 階段，模型接收輸入文字並轉換為 token（其可處理的基本單位），同時建立輸入的「工作記憶」——稱為 key-value cache。這是一個運算密集的任務。

Decode 階段則是 LLM 生成輸出 token，即對輸入的回答。每個新 token 都依據前一個 token 與 key-value cache 來預測。這種循序特性使得 decode 過程較慢，且比運算能力更依賴記憶體與網路延遲。

因此，AI 晶片製造商開始針對這兩種不同需求設計系統。Nvidia 推出一種架構：一機架 B300 GPU 負責 prefill，另數機架 Groq 3 處理器 負責 decode。Amazon Web Services 則將一機架 Trainium AI 晶片 用於 prefill，搭配數機架 Cerebras 的 晶圓級電腦 負責 decode。

Tensordyne 表示，其系統可同時處理這兩項任務。「我們同時針對兩個艱鉅挑戰進行最佳化，」Tensordyne 產品長兼共同創辦人 R.K. Anand 表示。「我們是第一家證明不必依賴多家供應商與多機架，就能同時完成這兩項任務的公司。」

prefill 所需的高密度運算來自對數數學，而 decode 的需求則由 144 GB 高頻寬記憶體與名為 Tensordyne Napier Link 的自訂 1 微秒延遲網路來滿足。

在單一四分之一標準機架的「pod」系統中，Tensordyne 整合了 72 顆 Napier 晶片、8 顆 Intel Xeon CPU，以及 64 TB 固態硬碟。據該公司宣稱，一個四 pod 機架在處理 2 兆參數 LLM 時，可提供每位使用者每秒 1,300 token，百萬 token 成本為 11 美元，功耗 120 千瓦，其中一個 pod 負責 prefill，其餘三個 pod 負責 decode。若要達到相近的每位使用者每秒 token 數，一套九機架 Rubin 與 Groq 3 系統可能需消耗 1.5 兆瓦電力。

這些數據是否真實，仍需等到今年晚些時候才能驗證。Tensordyne 計畫透過雲端提供 beta 版本供客戶使用，並預計約一年後開始出貨系統給客戶。