記憶體可說是現代 AI 大型語言模型（LLM）最嚴重的限制。根據一篇具影響力的論文，LLM token 生成本質上是一項受記憶體限制的任務，這意味著模型輸出文字的速度會受限於從記憶體讀取資料的速度。隨著模型規模增大，這種瓶頸的嚴重性也隨之增加，進而形成阻礙 LLM 推論效能的「記憶牆」。

AI 硬體新創公司 Majestic Labs 正以直接且全面的方式解決這個問題。公司正在開發一款名為 Prometheus 的新型 AI 伺服器，搭載高達 128 TB 的記憶體。這比 Nvidia 的 DGX B300 伺服器多出 60 倍以上，後者是一款尖端的 AI 處理機架。

Sha Rabii 是 Majestic Labs 的共同創辦人兼總裁，他相信這種大幅增加的記憶體容量將為公司帶來優勢。儘管他承認「Nvidia 在打造可擴展的系統方面做得非常出色」，但他認為，隨著模型規模成長，這種做法在經濟效益上會變得較不划算，「最終會過度配置運算資源，卻讓記憶體不足」。

以 DRAM 為中心的 LLM 記憶體架構

Majestic Labs 計劃透過與競爭對手截然不同的架構來克服「記憶牆」。

Nvidia 目前的 伺服器配備快速的 高頻寬記憶體（HBM），通常用於讀取 LLM 的模型權重。此外，還有較大但速度較慢的動態 隨機存取記憶體（DRAM）池，用來處理 LLM 與伺服器本身的額外負擔。而 Majestic 則全面採用 DRAM（特別是 LPDDR6），打造統一架構。

Rabii 表示，大多數記憶體介面設計只能在短距離內運作，有時僅數毫米，這限制了可放置的記憶體量。「運算晶片只有一條 shoreline 可以放置 HBM，如果你想要放更多，就做不到，」Rabii 解釋道。

為了解決這個問題，Majestic 使用專有記憶體介面，採用微型銅纜建構，最長可達一公尺。此介面搭配自訂記憶體聚合晶片，這些晶片緊鄰記憶體模組，負責協調整個伺服器的記憶體。

「它是高速介面的終端點，並將訊號扇出到許多商用 DRAM 晶片，」Rabii 說明。此外，Majestic 表示，這項設計除了能支援大容量記憶體池，還能提供高達每秒 25.6 TB 的記憶體頻寬。

用於 LLM 加速的 Ignite AI 處理器

擁有更多記憶體固然很好，但仍需搭配 AI 加速器，類似 Nvidia 的 GPU。Majestic 的解決方案是 Ignite，一款自訂 AI 處理單元，作為伺服器的運算引擎。Prometheus 伺服器內含 12 顆 Ignite 晶片。

Ignite 將資料中心級的 ARM 應用核心與 RISC-V 向量與張量核心整合在單一晶片上，所有核心共享相同的記憶體空間。ARM 核心擔任晶片上的主機處理器，負責協調 AI 模型；RISC-V 核心則執行實際的 LLM 處理。最終成果是一顆單一晶片，能處理 LLM 推論的多個面向，而無需在不同 處理器之間交接。Majestic Labs 尚未公布 Prometheus 的具體運算效能指標。

Rabii 也承認軟體同樣重要，因為許多 AI 框架已經根深柢固。「我們正盡可能在客戶採用的每個面向降低摩擦，無論是硬體還是軟體，」他說。Prometheus 將支援 PyTorch、vLLM 以及 OpenAI 的 Triton 推論框架，且無需修改程式碼。這意味著與這些框架相容的現有模型可以直接執行。

Prometheus 伺服器設計與定價

以上所有技術最終整合在伺服器中，該伺服器符合 Open Compute Project 規範。一個機架最多可容納四台伺服器；每機架預計功耗最高達 120 千瓦；散熱則採用 冷板式液冷。伺服器的記憶體設計為模組化，因此購買時若未達最大 128 TB 記憶體容量，日後仍可升級。

儘管這項計畫涵蓋範圍廣泛，Majestic 仍希望在價格上定位 Prometheus——這可能令人意外，因為每台伺服器可搭載如此大量的記憶體。Majestic 認為這是可行的，因為它使用 DRAM 而非 HBM。定價尚未公布，Prometheus 預計將於 2027 年出貨。

「依工作負載而定，我們客戶的資本支出將降低 10 到 50 倍，功耗也會以類似幅度下降，」Rabii 表示。