Cloudflare預設封鎖AI爬蟲，推出付費爬取機制
全球最大的網路安全服務提供商 Cloudflare 宣佈，從 7 月 2 日起，新網域將預設封鎖 AI 爬蟲，除非獲得明確許可或付費爬取。
Cloudflare 把這項措施稱作「內容獨立日」，已獲得超過 100 萬個 Cloudflare 客戶與全球前 1,000 大網站中，有 35% 企業的支持，包括美聯社、時代雜誌、大西洋月刊、BuzzFeed、Reddit、Quora 和環球音樂集團等國際知名媒體，都加入這項行動。
據(The Verge)報導，Cloudflare 還同時推出「按爬取付費」（Pay Per Crawl）機制，讓出版商可以為 AI 爬蟲設定價格。AI 公司可以查看價格方案，並選擇是否註冊付費服務或放棄爬取。
目前，這項付費爬蟲服務僅開放給部分頂尖的網路媒體與內容創作者，但 Cloudflare 計劃擴大系統規模。
延伸閱讀：
Google流量雪崩！AI摘要看似方便卻成內容網站殺手，官方怎麼回應
Cloudflare長期對抗AI爬蟲：內容網站被OpenAI白嫖太多了
Cloudflare 是一家網路基礎設施公司，為客戶提供網站託管和安全服務，在生成式 AI 崛起引發大量 AI 爬蟲並拿來訓練模型後，他們就在積極設想解決方案。
2023 年，Cloudflare 開始協助網站擁有者對抗 AI 爬蟲，最初只能封鎖遵守 robots.txt 檔案的爬蟲。到了 2024 年，則可以允許網站封鎖所有 AI 機器人，無論它們是否遵守網站的 robots.txt 檔案。
Cloudflare 執行長 Matthew Prince 指出，十年前 Google 每爬取 2 個頁面就會為內容網站帶來一次訪問，但現在 Google 每拿走 18 個頁面，你只能得到一個訪客。
生成式 AI 公司進場後，這個比例更加懸殊。半年前，OpenAI 爬走網頁與訪客瀏覽網頁的比例是 250：1，現在是 1,500：1；而 Anthropic 六個月前是 6,000 比 1，現在是 60,000：1。
延伸閱讀：
AI Taiwan)簡立峯：知識經濟正在衰落！AI的下一波商機是什麼？
社羣盛讚Cloudflare封殺AI爬蟲，但研究用途也被誤殺？
在社羣平臺上，Cloudflare 的新措施獲得廣泛好評。
前 Stability AI 音訊副總裁 Ed Newton-Rex 表示：「這就是未來該走的路」，匿名交易者 Romano RNR 稱讚：「Cloudflare 再次解決問題」，而前 Google 員工、現任 SEO 顧問的 Pedro Dias 也認為，需要有一股力量讓內容網站與爬蟲間的平衡，回到原來的位置。
Stack Overflow 執行長 Prashanth Chandrasekar 則表示，為大型語言模型（LLM）提供燃料的社羣平臺，也應該因其貢獻獲得補償，這樣它們就能重新投資回饋社羣。
不過，也有專家表達擔憂。(麻省理工科技評論)報導指出，MIT 媒體實驗室博士候選人 Shayne Longpre 警告，預設封鎖 AI 爬蟲可能會干擾非商業用途，例如研究。
他表示，並不是所有的 AI 系統都在跟網路媒體競爭或者帶有商業目的，個人使用與開放研究不應該因為這樣而被犧牲。
『OpenAI頭大了！Cloudflare開放封殺AI爬蟲，再也不怕內容被白嫖？』這篇文章最早發佈於『加密城市』
