Posted on July 10, 2026 by Johannes Hemminger and Martin Hafner, KubeOps

CNCF projects highlighted in this post

Kubernetes logo

對 AI 的看法從轉型樂觀到深度懷疑都有，但有一點很清楚：AI 正日益成為企業技術策略的重要一環。

請自行選擇您喜歡的看法。但無論您選擇哪一種，事實仍然是：AI 不會消失，尤其對企業與程式設計而言將會很有用。那麼，AI 將走向何方？

您偏好哪種 AI 模型可以無限爭辯。本文探討另一個問題：AI 工作負載應該在什麼平台上執行……以及您實際在什麼平台上執行 AI 工作負載？從某個層面來看，這個辯論已接近定案：Kubernetes 已成為 AI 基礎設施的常見基礎，因為它具備資源管理、自動化、可移植性與操作一致性。

然而在另一個層面上，答案仍然難以捉摸，並引發更多問題：模型將在哪裡執行？企業會將 AI 視為外部服務來使用嗎？他們會租用原始容量並執行自己選擇的模型嗎？或者，隨著 AI 工作負載變得更具策略性、成本更高且涉及敏感資料，他們會將其移至私有雲、託管環境、主權基礎設施或本地資料中心嗎？

權衡各項選擇

目前許多專有前沿模型在推理與通用能力等領域仍持續優於開放權重替代方案。

然而，並非所有 AI 工作負載都需要由最尖端、大量消耗 token 的模型來處理。例行、重複且定義狹窄的任務通常可由開放權重模型、舊版模型，甚至消費級硬體來處理。如果這些任務涉及敏感資料、內部流程或高度受管制的操作，那麼本地或私有雲環境可能成為更明智的選擇，甚至是唯一可行的方案。對資料、合規性與長期穩定規劃的掌控力，是自行控制堆疊每個部分的強力論據。

即使是在「自帶模型」設置下的外包託管也能發揮作用。測試新組態或非敏感測試環境是外包託管的絕佳候選，同時仍能維持對模型的控制。若妥善管理，這種做法也可用於處理尖峰需求，或卸載容易區隔的任務。

成本考量

跡象已很明顯：AI 公司或部門無法永遠虧損經營。基礎設施投資高達天價，用於執行 AI 工作負載的資料中心更是支出重點。為了支應這些投資，營收必須大幅增加。因此，無論是個人或企業使用者，AI 工作負載的價格上漲勢在必行。

那麼，這是否意味 AI 即服務的終結？大概不會。但這可能代表「只買訂閱」思維的終結。當然，就主權而言，這種思維從一開始就不明智或不可行。但若假裝成本對主權考量不是重大因素，那也是自欺欺人。

從合規與法規角度看主權

關於主權，KubeOps 與德國公部門組織及關鍵基礎設施應用合作。這意味我們在高度受管制的領域運作，主權必須體現在我們的軟體與流程中。由於數位主權並無單一、普遍接受的定義，我們將其視為一個持續進行的過程，建構於五個要素之上：

  • 操作自主性是指能夠控制與管理系統的所有元素。
  • 合規性是數位主權的先決條件，因為若無法取得法律確定性（例如資料儲存相關規定），任何系統都無法永續運作。
  • 可稽核性至關重要，以確保安全與主權確實存在且可驗證。
  • 可移植性至關重要，因為技術、合約或組織上的依賴會從根本上限制操作自主性。它也能防範突然的價格上漲。
  • 韌性也是數位主權的一部分，因為若系統缺乏備援、復原機制或危機應對的穩健流程，就無法稱之為主權。

後續步驟

在完成所有抽象思考後，問題仍然是：如何向前邁進？良好的起點是，許多常見工作負載的需求並未因 AI 工作負載的加入而大幅改變。監控、備份能力、生命週期管理與可觀測性仍然是關鍵考量。

因此，在將重要的 AI 工作負載移至任何平台之前，組織應先進行 AI 就緒度檢查，這也是我們正在採取的步驟之一。這意味著要檢視加速器容量、儲存效能、資料局部性、網路隔離、身分整合、監控、備份、復原、軟體供應、弱點管理與政策執行。若缺乏這些基礎工作，平台可能徒有主權之名，實際卻相當脆弱。

為不確定的未來打造基礎

我們的答案是打造具備選擇性的方案。我們預期 AI 工作負載將同時出現在多個地方，這也是為什麼 Kubernetes 與開放原始碼專案將成為這個新興且高度動態環境的重要組成部分。AI 領域本身缺少許多我們在其他地方視為理所當然的標準。即使是像專案知識檔案這樣簡單的事物，在不同模型環境之間也可能有所差異。在這樣的環境中，基礎設施層需要更具可移植性與適應性，而非更少。在快速演進的 AI 領域中，Kubernetes 的可移植性與操作一致性能幫助組織在不需為每個新模型、供應商或部署模式重建平台的情況下進行調整。

我們的一大收穫是，關鍵不在於今天猜測完美的目的地，而在於避免打造死胡同。工作負載應具備可移植性。操作應具備可重現性。安全應可執行。遷移應具現實可行性。成本應可見。無論下一個工作負載落在本地、私有環境、邊緣還是跨多雲環境，平台都應持續發揮作用。

目前的 AI 領域充滿對未來的承諾，但長期基礎設施決策需要的遠不止樂觀。成本會改變。模型能力會改變。法規會改變。唯一主權且明智的回應，就是打造能隨之改變的平台。因為若不如此，您很可能會被某些事情困住，無論是新的資料位置要求、單一供應商成本暴增，或是近期出現的某些未預見問題。

Kubernetes 與更廣泛的 CNCF 生態系為此做法提供了實用的基礎。可移植的工作負載、可重現的操作、政策執行與部署彈性，讓組織能在技術、法規與商業需求演進時進行調整。許多組織很可能會從能保留選擇權，並讓工作負載更容易隨著環境變化而移動的平台中受益，而不是針對單一部署模式進行最佳化。