Cloudflare 新制預設封鎖 AI 爬蟲並推「Pay-Per-Crawl」市集,可能迫使 AI 業者付費取用內容,內容出版商與 CDN 迎來新估值敘事。 (前情提要:Meta狂搶AI人才,祖克伯喊「年薪破億美元」;Sam Altman酸:買不到最好員工 ) (背景補充:OpenAI 傳將推 AI 版 Office 辦公軟體,與微軟、Google 正面交鋒 )   當前全球超 16% 的網路流量都通過 Cloudflare,是網路生態重要基石。本週,該公司發布新規:即日起所有新註冊網域,皆預設封鎖 AI 爬蟲,並同步推出「Pay Per Crawl」機制。這一步,讓長期免費撈取資料的大模型忽然面臨收費閘門,也讓內容擁有者首次握住議價槓桿。 政策要點:預設封鎖與按次付費 Cloudflare 新規把爬蟲存取模式從「預設允許」翻轉為「需經許可」,新網域立即啟用阻擋;舊客戶則可在後台一鍵切換。 更關鍵的是「Pay Per Crawl」新制,網站管理員得以為「訓練、推論、搜尋」三種用途設定不同價格。當爬蟲抵達網站,伺服器將回傳 HTTP 402 Payment Required,要求先付費再取用。由 Cloudflare 代收費用及結算,並提供用途、頻率與付款報表。 執行長 Matthew Prince 公開說: 「我們的目標,是讓內容創作者重新掌握對智慧財產的控制權,並從中獲得合理回報。」 市場反應:媒體歡迎,實驗室憂慮 已公開承認流量受到影響的大型出版商如 TIME 與 BuzzFeed 已加入試點,希望透過新機制為流量增添訂閱與授權之外的第三條收入(畢竟 AI 整理過資料後,讀者就沒必要在瀏覽原始網頁)。 相反的,OpenAI、Google 等開發者則警告,Cloudflare 正成為「中介商」,並強調他們一直遵守 robots.txt。英國律師 Matthew Holman 指出: 「若封鎖政策普遍生效,必然拖慢模型訓練速度,這會是短期內 AI 產業的巨大挑戰。」 根據推估,若透過付費新增 1 兆個訓練標記,成本可能達數億美元,直接推高模型研發門檻。 資本視角:內容授權成新賽道 專家估算,「內容授權」的市場規模有機會從零衍生成數十億美元級產業。同時,若 Cloudflare 成功推廣付費模式,差異化將進一步擴大,對 Fastly、Akamai 構成壓力,資本市場已重新評價 Cloudflare 的戰略位置。 後續觀察:資料黑暗期還是價值重分配 假如未來「預設封鎖 AI 爬蟲」被其他 CDN 或雲服務廣泛採納,大模型可能陷入短暫「資料黑暗期」。業者勢必需尋找替代方案,例如生成合成資料、與內容持有人簽訂授權協議,或利用區塊鏈追蹤版權。歐盟 GDPR 與法國 CNIL 對資料「合法利益」與「最小化」的強調,也與此趨勢相符。 Cloudflare 新制度等於把「資料就是新石油」具象化:AI 公司未來或不再能免費加油,而要依量付費;不過對內容生產方來說則可能是好消息,能把數位資產變現,揭開價值重估的序幕。 相關報導 下載他人創作再 AI 洗圖違法!中國首例 AI 侵犯著作權刑案宣判入獄+罰金 馬斯克喊AI知識錯誤太多「Grok3.5要重建人類正確版」;CZ回應:歷史觀點單一化會有問題 〈Cloudflare 出殺招!預設「封鎖 AI 爬蟲」掀起付費抓取內容新戰爭〉這篇文章最早發佈於動區BlockTempo《動區動趨-最具影響力的區塊鏈新聞媒體》。