Cloudflare 已揭露 Town Lake，其內部統一資料平台，並指出計費工作負載佔所有平台查詢的 53%。該系統與名為 Skipper 的人工智慧分析代理一同建置，旨在整合先前分散於各系統的營運、計費、安全與商業資料存取。

根據 Cloudflare 所述，其全球網路每秒處理超過十億個事件，涵蓋 120 個國家的 330 多個城市。隨著時間推移，資料累積在 Postgres 資料庫、ClickHouse 叢集、Kafka 串流、BigQuery 資料集以及物件儲存系統中，使得探索與分析日益複雜。Town Lake 作為統一的 SQL 介面推出，可跨這些系統進行查詢，同時維持治理與存取控制。

該平台採用 lakehouse 架構，建置於 Apache Trino、Apache Iceberg、Cloudflare R2 物件儲存以及 DataHub（用於中繼資料管理）之上。Cloudflare 表示，單一查詢即可跨 Postgres、ClickHouse 與 Iceberg 表格進行聯結，而無需在系統之間移動資料。支援服務負責處理資料擷取、轉換、存取控制以及個人識別資訊（PII）的偵測。

Town Lake 平台架構（來源：Cloudflare 部落格文章）

其核心設計元素為預設的封閉治理模式，新上線的資料集在完成自動掃描與人工審核前，均維持無法存取狀態。Cloudflare 使用名為 Skimmer 的內部服務，結合自動分類與基於 AI 的分析來偵測敏感資料。人工審核者接著驗證或調整分類，再授予存取權限。

Cloudflare 在 Town Lake 之上建置 Skipper，以提供企業資料的自然語言存取。該代理會將使用者請求轉換為已驗證的查詢，並運用中繼資料、結構定義、轉換血緣、文件以及執行時期檢查來提升準確性。它用於計費分析、客戶支援調查、商業智慧以及安全工作流程。Cloudflare 將該系統描述為統一存取層，Town Lake 提供公司範圍資料的單一 SQL 介面，而 Skipper 則支援以白話查詢並產生可稽核的結果。

Dmitry Alexeenko，Cloudflare 企業工程主管，表示

每一筆 Cloudflare 請求背後都有資料。大量的資料。我們的團隊建置了 Town Lake，一個統一的資料平台，以及 Skipper，一個 AI 資料代理，能在數秒內將白話問題轉換為洞察。

Cloudflare 表示，曾經需要複雜 SQL 或手動調查的工作，現在可透過其統一資料平台與 AI 代理在數秒內完成。計費工作負載佔 Town Lake 使用量的多數，在測量期間，該平台處理了來自 324 名員工的 91,760 筆計費相關查詢，涵蓋計費分析、支援調查以及營運報表。該公司還指出，簡化 AI 代理提示可提升準確性，而合併重疊工具則可減少錯誤選取。將 SQL 轉換邏輯與資料血緣納入代理情境，進一步提升對商業語意的理解，超越結構中繼資料。

Patrick Joubert，Rippletide 執行長，對架構意涵表示：

在統一分析平台之上放置內部 AI 代理，正是基礎設施團隊開始感受到控制問題之處。如果代理能夠跨營運資料進行推理，執行控管就必須緊鄰執行。分散式確定性檢查可讓代理運作，而不會將資料平台轉變為不受控的行動表面。

展望未來，Cloudflare 計畫將 Skipper 與內部聊天、票務以及開發工作流程進行更深入整合。該公司也在擴展其 Transformer 管線，讓團隊能使用 SQL 與中繼資料檔案定義經策展的資料集，並自動部署、監控、編目，以及透過 DataHub 與 Skipper 呈現。Cloudflare 也預期隨著系統成熟，將更多 Town Lake 工作負載遷移至 R2 SQL。

關於作者

Leela Kumili