Subquadratic 今年早先推出時，已能建構稀疏注意力模型，處理 1,200 萬 token 的上下文視窗，並且比目前大型語言模型的速度快得多。但該公司並未廣泛推出此模型，也未公開基準測試。

由於該公司提出龐大主張，引發不少質疑。6 月時，Subquadratic 公布了首份小型模型 SubQ 1.1 的模型卡與基準測試，並由數據公司 Appen 提供第三方驗證，同時開始談論其首批設計合作夥伴已可存取該模型。

然而，至今仍只有少數人實際使用過該模型。為了討論公司現況、為何模型尚未廣泛開放，以及近期計畫，我們與 Subquadratic 共同創辦人暨 CTO Alex Whedon 見面。

「我們也不是稀疏注意力公司。」— Subquadratic 的 Alex Whedon

Whedon 明確想澄清的一點是，公司現有模型雖基於稀疏注意力，但這並非其完整使命。

「我們也不是稀疏注意力公司，」Whedon 告訴 The New Stack。「我們早已同時在開發非注意力架構。我們認為自己會是第一個在下一代模型架構上超越自我的團隊。」

我們稍後再來討論這點。

模型卡顯示的內容

目前外界討論的主要是該公司的 SubQ 1.1 Small 模型。此模型建構於 Subquadratic Sparse Attention（SSA）之上，該公司表示此注意力機制可接近線性擴展上下文長度，而非二次方。

「以 Subquadratic Sparse Attention 而言，我們研究過幾種模型架構，核心概念是並非所有 token 關係都重要，」Whedon 解釋。「token 關係的運算正是造成二次方擴展律的原因。」這代表在完整注意力矩陣中，1,000 token 的輸入可能產生近百萬種雙 token 關係。

對於 SubQ 1.1 Small 而言，最強的表現出現在長上下文檢索，這也符合該架構應發揮最大優勢的領域。

Credit: Subquadratic.

在 needle-in-a-haystack 測試中，SubQ 1.1 Small 從 100 萬 token 延伸至 1,200 萬 token 皆接近滿分，儘管它主要是在 100 萬 token 的長度下訓練。它在 Nvidia 較困難的 RULER 測試中獲得 99.12% 的分數，該測試要求模型在 128,000 token 的上下文中追蹤並彙總事實，而非僅找出單一資訊。

在一般能力方面，它略低於中階前沿模型，在 GPQA Diamond 測試中獲得 85.4 分，而 Sonnet 4.6 則為 87.5 分。在 LiveCodeBench 程式碼基準測試中，它獲得 89.7 分，低於 Opus 4.8 與 GPT-5.5，但略優於 Sonnet 4.6。

不過，該模型的亮點在於效率。該公司表示，在 100 萬 token 時，SubQ 使用的運算量比密集注意力少 64.5 倍，且在單一注意力層上比 FlashAttention-2 快 56 倍。在完整的 1,200 萬 token 視窗下，注意力運算量的減少接近 1,000 倍。

Credit: Subquadratic.

「即使在完整密集注意力中，超過 99% token 的相對重要性仍非常低，注意力分數低於 0.1，」Whedon 表示。「我們已在模型卡中展示這一點。所以很明顯我們大部分時間都在浪費運算資源，事實上可能還讓建模任務變得更困難，因為我們引入了雜訊。」

「Transformer 是一種暴力解法，用來處理文字建模問題，」他說。「你可以說：『我要將每一個 token 與其他所有可能的 token 進行比較。』這就是 Transformer 所做的事。非常暴力、非常天真。它假設第一個 token 需要查看第二個、第三個、第 50 個，以及第 5,000 個 token。這不是人類閱讀文字的方式。」

SSA 也與檢索增強生成（RAG）不同，RAG 會在模型看到文字前先丟棄部分片段。「文字中的每一個 token 都會被模型看到，」他說。「只是不會被冗餘地與其他所有 token 進行比較。」

在能力方面，SubQ 1.1 Small 大致落在 Sonnet 4.6 的水準，有時略高、有時略低。但該公司表示，其優勢在於規模與成本。

「我們公開發佈的模型參數量少於 1,000 億，」Whedon 談到模型規模時表示。「我敢說我們的模型比 OpenAI 或 Anthropic 提供的任何模型都小。但我們的下一代模型將不會如此。」

更小、更便宜，專為企業打造

Subquadratic 同時強調，其模型的能力將特別適合企業應用。

「我們認為這是一個相當有趣的企業方案，」他說。「我們看到許多企業討論使用中階模型而非前沿模型來處理大型資料處理任務，這正是我們試圖切入的領域。」

由於許多企業問題始於搜尋大量資料，這種說法有其道理。畢竟可以將大量文件塞進 1,200 萬 token 的上下文視窗。目前大多數模型在使用者填滿百萬 token 視窗前就已崩潰，但憑藉近乎完美的檢索分數，SubQ 可能是解決這些問題的良方。

如 Whedon 所言，該模型的首批使用者是設計合作夥伴，而非一般大眾。「我們目前正向設計合作夥伴開放模型存取權限，這些合作夥伴多為企業，年度支出多達八位數至九位數，」Whedon 表示。「這是我們從一開始就非常重視的核心市場。後續將推出限量個人存取版本，之後才會全面開放。」

此次推出選擇以主張而非基準測試作為重點。

「我們當時主要是宣布研究成果，」他說。「或許在發佈訊息的呈現方式上可以再調整。當時確實有過一些討論。」

建構於既有模型之上

五月時提出的疑問至今仍未消失。模型卡指出，Subquadratic「從既有的開源權重前沿模型出發，將其密集注意力替換為 Subquadratic Sparse Attention（SSA）」，隨後在書籍、文件與程式碼庫規模的資料上進行約一兆 token 的長上下文持續預訓練。

這證實了部分質疑者在推出時的猜測，OpenAI 研究員 Will Depue 當時發文指出，SubQ「幾乎可以確定是 Kimi 或 DeepSeek 的稀疏注意力微調版本」。真正的新意在於 SSA 機制與長上下文訓練配方，而非從零開始訓練的模型。該公司尚未透露最初使用的開源權重模型是哪一個。

Whedon 表示，長上下文檢索最大的關鍵在於使用極長序列進行預訓練，而 SSA 的效率讓這項工作變得足夠便宜，可以常態執行。

「目前還沒有人在談論數百萬 token 的預訓練，」他說。

Credit: Subquadratic.

為何混合模型還不夠

當然，業界已有許多試圖改善二次方擴展的嘗試，但 Whedon 認為大多數方案都只做到——幾乎是字面意義上的——一半。混合模型如 Nvidia 基於 Mamba 的 Nemotron、Qwen 的 Gated DeltaNet 層，以及各種線性保留設計，僅替換部分注意力層，但並未徹底改變。

「如果 80% 的層都不採用二次方擴展，那麼當規模趨近無限大時，最大效益大約只有 5 倍，」他說。「我們在 100 萬 token 時看到 60 倍的提升，在 1,200 萬 token 時接近 1,000 倍。這類效益只有在真正改變擴展律時才能獲得，而非僅靠係數上的改善。」

他其實也認可 DeepSeek 自身的稀疏注意力機制讓自家公司的主張更容易被接受。

Credit: Subquadratic.

「他們展示了可以在不顯著犧牲品質的情況下動態選擇關係，」Whedon 表示。「然而，他們是透過重複使用一個較小但仍為完整注意力的模型來達成，這在規模化時仍會消耗絕大部分運算資源。」

Subquadratic 曾對 GLM 5.2 進行基準測試。「在 100 萬 token 時，58% 的預填充延遲來自於該選擇機制，」Whedon 說。「所以這個本應被視為廉價的選擇機制，實際上主導了運算，因為它仍是二次方擴展的元件。」

超越稀疏注意力

這也是 Whedon 反對「稀疏注意力公司」標籤的原因。Subquadratic 一直在開發他所謂的「零注意力」架構，也就是完全捨棄注意力機制。

「注意力機制有點類似 RAG，你有查詢、鍵與值來表示正在處理的 token 資訊，」Whedon 說。「這種離散的表示方式，讓所有資訊都被放在這些乾淨的小盒子裡。這非常方便，也很容易圍繞它建立暴力解法。但這也意味著你壓縮資訊的能力受到限制。如果你有一種更連續、更抽象的方式來表示資訊，就能進一步壓縮，進而做出更小的模型，或者再次擴展規模以創造智慧上的另一波躍進。」

他將這個想法追溯到世界模型以及 Yann LeCun 的研究。「我們正在做的事情深受世界模型啟發，不是影片模態，而是 LeCun 所談論的一些概念，」他說。「重新思考如何表示長程依賴、如何維持長程狀態、如何重新設計目標函數。」他在此停下。「目前我能說的就這些。」

Subquadratic 還宣傳了它所追求的三種效率中的一種。「我們關心運算效率、樣本效率與記憶體效率，」Whedon 表示。「我們在這三方面都做了大量工作，但目前只公開談論運算效率。」

近期計畫

然而，Subquadratic 的近期計畫較為謹慎。當被問及 Subquadratic 長期是否能在原始品質上與 OpenAI 和 Anthropic 競爭時，Whedon 表示：「長期來說是的。但短期內，我們必須採取策略性做法。如果我們試圖用遠少於對手的資金去解決所有問題，結果不會太好。」

他表示，下一代模型可能會是中階規模而非前沿規模（例如 SubQ 1.2 Medium），預期將在同級模型中超越大多數競爭對手。

至於團隊將如何將模型推向市場，目前仍不得而知。我不會意外地看到團隊將模型部署在某家超大規模雲端供應商的大型模型平台上，但 Whedon 對公司的計畫仍保持低調。

不過，我們在舊金山與來自邁阿密的 Whedon 見面，這多少透露了團隊目前正在進行的工作。

YOUTUBE.COM/THENEWSTACK

科技發展迅速，別錯過任何一集。訂閱我們的 YouTube 頻道，收看所有 podcast、訪談、示範，以及更多內容。

Group Created with Sketch.