AI 已讓網路在我們眼前改變。隨著 Google 的 AI Overviews 承擔了主要搜尋工作，曾經擁有搜尋結果首頁的出版物正被摘要取代。讀者無需點擊即可獲得答案。大量流量已然停止。

Cloudflare 週三 宣布一連串更新，協助面對此新現實的出版商。從新的爬蟲分類與分析儀表板，到答案引擎最佳化工具以及 Pay Per Crawl 計畫的擴展，顯然該公司正試圖成為 AI 網路的經濟管線。

從「拒絕進入」轉向「來做交易」

一年前，Cloudflare 的主張幾乎是防禦性的，強調網站擁有者應能阻擋 AI 爬蟲。雖然這點仍成立，但該公司已轉向討論為「代理經濟」打造「軌道」。這有其道理。如果 AI 代理已經在瀏覽網路、收集內容，甚至購買商品，就需要有人處理網站如何獲得補償的商業端事務。Cloudflare 認為這個角色應該由自己來擔任。

為價值付費，而非為造訪付費

大約一年前，Cloudflare 推出 Pay Per Crawl，讓出版商可針對 AI 公司抓取頁面設定價格。如今該公司正推動 Pay Per Use，意指出版商在內容實際出現在 AI 生成的答案中時才會獲得報酬。

回顧舊模式，AI 爬蟲無論是否對所找到的內容做任何有用的事，都必須付費造訪網站。Cloudflare 表示已與 Ceramic.ai 及 You.com 測試此概念，兩者各自運行略有不同的版本。

不再是收取存取費用——本質上就是收過路費——而是出版商針對價值收費。

這改變了經濟模式。出版商不再針對存取收費（本質上就是收過路費），而是針對價值收費。這更接近聯盟行銷或授權交易的模式，也是一個更難解決的問題。它需要知道哪些內容貢獻了哪些答案，這意味著目前尚未大規模存在的歸因基礎設施。

Credit: Cloudflare.

爬蟲需要更清楚的標籤

但這裡涉及更技術性——也帶有政治性——的問題。

Cloudflare 希望 AI 公司停止將所有爬蟲混為一談。目前，一家大型 AI 公司的單一機器人可能同時抓取頁面用於搜尋索引、模型訓練與代理任務。這使得網站擁有者無法針對不同用途說「是」或「否」。

從 9 月 15 日起，Cloudflare 計畫變更新網站與免費方案網站的預設值。AI 搜尋爬取保持開啟，但訓練與代理存取在廣告支援頁面中將被阻擋，除非網站擁有者主動選擇加入。拒絕分離流量的混合用途爬蟲將被完全阻擋。

該公司顯然針對 Google 提出批評，指出 Google 的捆綁方式使其能取得約為純 AI 競爭者兩倍的內容。區分爬蟲意圖已成為出版商與 AI 公司之間建立任何正常市場的先決條件。因為如果網站擁有者無法區分「為搜尋索引我的頁面」與「用我的文字訓練你的模型」，他們將越來越傾向阻擋一切。

區分爬蟲意圖已成為出版商與 AI 公司之間建立任何正常市場的先決條件。

針對 AI 答案進行最佳化

Cloudflare 也推出名為 Attribution Business Insights 的商業團隊儀表板。可將其視為 AI 版本的 Google Search Console 數據，只是此時的「搜尋引擎」變成 ChatGPT、Perplexity 或讀者詢問的任何代理。

此外，Cloudflare 推出答案引擎最佳化（Answer Engine Optimization，AEO）。概念是：只在 Google 排名已不再足夠；出版商若要成功，還需要了解內容如何以及在何處被引用於 AI 生成的回應中。這與 SEO 是不同的最佳化問題，而目前幾乎沒有人擁有良好的工具來處理它。

基礎設施作為競爭優勢

Cloudflare 已經位於網站與網際網路之間。它能看到流量、知道頁面哪些部分改變、哪些沒有。它可以告訴爬蟲稍後再來，因為沒有新內容；據稱這可消除超過 50% 的目前 AI 爬取流量。

這讓 Cloudflare 處於獨特位置。它已是 AI 公司與網路之間路徑的一部分。現在它希望成為管理存取、歸因，最終還包括支付的層級。如果 AI 代理成為人們在線上尋找資訊的主要方式，Cloudflare 賭注下一場戰役不會是誰打造出最聰明的模型，而是誰打造出其他人依賴的基礎設施。

如果 AI 代理成為人們在線上尋找資訊的主要方式，Cloudflare 賭注下一場戰役不會是誰打造出最聰明的模型——而是誰打造出其他人依賴的基礎設施。

YOUTUBE.COM/THENEWSTACK

科技發展迅速，別錯過任何一集。訂閱我們的 YouTube 頻道，即可觀看所有 podcast、訪談、示範與更多內容。

Group Created with Sketch.