AIは私たちの目の前でウェブを変えています。GoogleのAI Overviewsが重い作業をこなし、かつて検索結果のファーストページを占有していたパブリケーションが要約に置き換えられています。読者はクリックすることなく答えを得ています。トラフィックの多くが単純に途絶えています。

Cloudflareは水曜日、この新たな現実に直面するパブリッシャー向けに一連のアップデートを発表しました。新たなクローラー分類や分析ダッシュボードから、Answer Engine Optimizationツール、そしてPay Per Crawlプログラムの拡大まで、同社がAIウェブの経済的基盤になろうとしていることは明らかです。

「排除」から「取引しよう」への転換

1年前、Cloudflareのメッセージはほぼ防衛的で、ウェブサイト所有者がAIクローラーをブロックできるべきだと主張していました。そしてそれは今も有効ですが、同社は「エージェント経済」のための「レール」を構築するという議論に軸足を移しています。そしてそれは理にかなっています。AIエージェントがすでにウェブを閲覧し、コンテンツを収集し、場合によっては物を購入しているなら、訪問先のサイトがどのように補償されるかというビジネス面を扱う誰かが必要です。Cloudflareはその誰かがCloudflareであるべきだと考えています。

訪問ではなく価値に対して支払う

およそ1年前、CloudflareはPay Per Crawlを立ち上げ、パブリッシャーがAI企業にページ取得時に支払う価格を設定できるようにしました。現在、同社はPay Per Useへと移行を推し進めています。これは、コンテンツが実際にAI生成の回答に登場したときにパブリッシャーが報酬を得ることを意味します。

遡って説明すると、旧モデルではAIクローラーは有用なことを何もしなくてもサイトを訪問した時点で料金を支払っていました。CloudflareはすでにCeramic.aiとYou.comでこれをテストしており、それぞれがコンセプトのやや異なるバージョンを実行していると述べています。

アクセスに対して課金する——基本的には料金所のようなもの——のではなく、パブリッシャーは価値に対して課金する。

ここでの経済は逆転します。アクセスに対して課金する——基本的には料金所のようなもの——のではなく、パブリッシャーは価値に対して課金する。これはアフィリエイトマーケティングやライセンス契約の仕組みに近く、はるかに難しい問題を解決する必要があります。どのコンテンツがどの回答に寄与したかを知る必要があり、それはまだ大規模に存在しない帰属インフラを必要とします。

Credit: Cloudflare.

クローラーにはより明確なラベルが必要

しかしここで、より技術的——そして少し政治的——な話になります。

CloudflareはAI企業がすべてのクローラーをひとまとめにするのをやめてほしいと考えています。現在、大手AI企業の単一のボットが、検索インデックス作成、モデル学習、エージェントタスクのために同時にページを取得している可能性があります。これでは、サイト所有者が一つの用途には「はい」、別の用途には「いいえ」と言うことが不可能になります。

9月15日から、Cloudflareは新規および無料プランサイトのデフォルトを変更する予定です。AI検索クローリングはオンのままですが、広告サポート型ページでは学習およびエージェントアクセスはサイト所有者がオプトインしない限りブロックされます。トラフィックを分離することを拒否する混在用途のクローラーは完全にブロックされます。

同社は明らかにGoogleを標的にしており、Googleのバンドル方式によりAIネイティブの競合他社のおよそ2倍のコンテンツへのアクセスが可能になっていると指摘しています。クローラーの意図を分離することは、パブリッシャーとAI企業の間に機能する市場を構築するための前提条件となっています。なぜなら、サイト所有者が「検索のために私のページをインデックス化する」と「私の文章でモデルを学習させる」の区別ができなければ、ますますすべてをブロックするようになるからです。

クローラーの意図を分離することは、パブリッシャーとAI企業の間に機能する市場を構築するための前提条件となっている。

AI回答向けの最適化

Cloudflareはまた、ビジネスチーム向けのダッシュボード「Attribution Business Insights」を展開しています。これは、Google Search Consoleの数値を知ることに相当するAI版だと考えてください。ただし、「検索エンジン」は今やChatGPTやPerplexity、または読者が質問した任意のエージェントです。

その上で、CloudflareはAnswer Engine Optimization（AEO）を導入しています。Googleでランキングされるだけではもはや十分ではなく、パブリッシャーが成功するためには、AI生成の回答の中でコンテンツがどのように、どこで引用されているかを理解する必要があるという考えです。これはSEOとは異なる最適化の問題であり、現在はほとんど誰もこれに対する優れたツールを持っていません。

競争優位としてのインフラ

Cloudflareはすでにウェブサイトとインターネットの間に位置しています。トラフィックを見て、ページ上で何が変わったか、何が変わらなかったかを把握しています。新しいものが何もないから後で戻ってくるようクローラーに指示することもでき、それにより現在のAIクロールトラフィックの50%以上を削減できると同社は述べています。

これによりCloudflareは独自の立場にあります。すでにAI企業とウェブの間の経路の一部となっています。今、同社はそれらの間のアクセス管理、帰属、そして最終的には支払いを扱うレイヤーになろうとしています。AIエージェントが人々がオンラインで情報を見つける主要な方法になるなら、Cloudflareは次の戦いが最も賢いモデルを構築する者ではなく、他のすべてが依存するインフラを構築する者との間で繰り広げられると賭けています。

AIエージェントが人々がオンラインで情報を見つける主要な方法になるなら、Cloudflareは次の戦いが最も賢いモデルを構築する者ではなく、他のすべてが依存するインフラを構築する者との間で繰り広げられると賭けている。

YOUTUBE.COM/THENEWSTACK

Tech moves fast, don't miss an episode. Subscribe to our YouTube channel to stream all our podcasts, interviews, demos, and more.

Group Created with Sketch.