Cloudflareは、請求処理のワークロードがプラットフォームの全クエリの53%を占めると報告し、内部統合データプラットフォームであるTown Lakeの詳細を公開しました。このシステムは、Skipperと呼ばれるAIを活用した分析エージェントとともに構築され、以前は断片化されたシステムに分散していた運用、請求、セキュリティ、ビジネスデータへのアクセスを統合することを目的としています。

Cloudflareによると、同社のグローバルネットワークは120カ国の330以上の都市で毎秒10億件を超えるイベントを処理しています。時間の経過とともに、Postgresデータベース、ClickHouseクラスタ、Kafkaストリーム、BigQueryデータセット、オブジェクトストレージシステムにデータが蓄積され、発見と分析がますます複雑になっていました。Town Lakeは、これらのシステム全体をクエリするための統合SQLインターフェースとして導入され、ガバナンスとアクセス制御を維持します。

このプラットフォームは、Apache Trino、Apache Iceberg、Cloudflare R2オブジェクトストレージ、およびメタデータ管理用のDataHubを使用したレイクハウスアーキテクチャ上に構築されています。Cloudflareは、システム間でデータを移動することなく、Postgres、ClickHouse、Icebergテーブルをまたいだデータを単一のクエリで結合できると述べています。サポートサービスは、インジェスト、変換、アクセス制御、および個人を特定できる情報（PII）の検出を処理します。

Town Lakeプラットフォームのアーキテクチャ（出典: Cloudflare Blog Post）

主な設計要素はデフォルトでクローズドなガバナンスモデルであり、新しくオンボーディングされたデータセットは、自動スキャンと人間によるレビューが完了するまでアクセスできません。Cloudflareは、自動分類とAIベースの分析を組み合わせた内部サービスSkimmerを使用して機密データを検出します。人間のレビュアーはアクセスを許可する前に分類を検証または調整します。

CloudflareはTown Lakeの上にSkipperを構築し、エンタープライズデータへの自然言語アクセスを提供します。このエージェントは、メタデータ、スキーマ定義、変換リネージ、ドキュメント、およびランタイム検査を使用してユーザー要求を検証済みクエリに変換し、精度を向上させます。請求分析、カスタマーサポート調査、ビジネスインテリジェンス、セキュリティワークフローで使用されています。Cloudflareは、このシステムを、Town Lakeが企業全体のデータへの単一のSQLインターフェースを提供し、Skipperが監査可能な結果を伴う平易な言語によるクエリを可能にする統合アクセスレイヤーであると説明しています。

Dmitry Alexeenko（Cloudflareのエンタープライズエンジニアリング責任者）は述べています

Cloudflareのリクエストの背後にはデータがあります。膨大な量のデータです。私たちのチームは、統合データプラットフォームであるTown Lakeと、平易な英語の質問を数秒で洞察に変えるAIデータエージェントであるSkipperを構築しました。

Cloudflareによると、以前は複雑なSQLや手動調査を必要としていたタスクが、統合データプラットフォームとAIエージェントを使用することで数秒で完了できるようになったとしています。請求処理のワークロードがTown Lakeの使用量の大部分を占めており、測定期間中に324人の従業員から91,760件の請求関連クエリが処理され、請求分析、サポート調査、運用レポートにわたっていました。また、同社はAIエージェントのプロンプトを簡素化することで精度が向上し、重複するツールを統合することで誤った選択が減少したと報告しています。SQL変換ロジックとデータリネージをエージェントのコンテキストに組み込むことで、スキーマメタデータを超えたビジネスセマンティクスの理解がさらに向上しました。

Patrick Joubert（Rippletide CEO）はアーキテクチャ上の影響についてコメントしています：

統合分析プラットフォームの上に内部AIエージェントを配置することは、まさにインフラストラクチャチームが制御の問題を感じ始めるポイントです。エージェントが運用データ全体にわたって推論できる場合、強制力は実行の近くに配置する必要があります。分散型の決定論的チェックにより、エージェントはデータプラットフォームを制御不能なアクションサーフェスに変えることなく行動できるようになります。

今後、CloudflareはSkipperを内部チャット、チケット発行、開発ワークフローとより深く統合する予定です。また、チームがSQLとメタデータファイルを使用してキュレーションされたデータセットを定義し、自動的にデプロイ、監視、カタログ化、DataHubおよびSkipperを通じて公開できるTransformerパイプラインの拡張も進めています。Cloudflareは、システムの成熟に伴い、追加のTown LakeワークロードをR2 SQLに移行することも期待しています。

著者について

Leela Kumili