ウェブサイトがAIボットにスクレイピングの料金を請求できるマーケットプレイスをCloudflareが発表

AIモデルの発展に不可欠なトレーニングには書籍や論文、ウェブサイトなどのコンテンツが大量に使われていますが、それらの著者には無許可で使用されていることがほとんどです。そのため、クラウドコンピューティングサービスのCloudflareは、不正行為をするボットを迷路に閉じ込める「AI Labyrinth」や、AIトレーニング用のクローラーを分析・制御する「AI Audit」など、AI企業のクローラーからコンテンツの制作者が管理権を取り戻すためのツールを発表しています。さらにCloudflareは2025年7月、ウェブコンテンツの制作者がAI企業にコンテンツを配信し、その対価を得ることができる新しいタイプのマーケットプレイス「Pay per Crawl」を発表しました。

Introducing pay per crawl: enabling content owners to charge AI crawlers for access
https://blog.cloudflare.com/introducing-pay-per-crawl/

Content Independence Day: no AI crawl without compensation!
https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/

Cloudflare launches a marketplace that lets websites charge AI bots for scraping | TechCrunch
https://techcrunch.com/2025/07/01/cloudflare-launches-a-marketplace-that-lets-websites-charge-ai-bots-for-scraping/

Google検索に「AIによる概要」が表示されるようになったため、検索した後にAIによる概要のみで情報を獲得したユーザーがサイトを訪問することがなくなり、ウェブサイトのトラフィックが急減したと報道されました。Cloudflareのマシュー・プリンスCEOはこれを「パブリッシャーが実存的な危機に直面している」とコメントしており、「Googleがトラフィックを送る代わりにコンテンツを受け取るという契約は、もはや意味をなさなくなっているのです」と指摘しています。

「AIの要約を信頼する人が増えてサイトへのトラフィックが急落しパブリッシャーは危機にある」とCloudflareのマシュー・プリンスCEOが警告 - GIGAZINE

Cloudflareは2024年から2025年にかけて、急増するAIクローラーからウェブサイトを保護するため、パブリッシャー向けのツールを複数リリースしてきました。プリンスCEOは2024年のインタビューで、「これらの製品は、パブリッシャーがAI企業にコンテンツを配信し、その対価を得ることができる新しいタイプのマーケットプレイスの基盤を築いています」と語っていました。

その新しいマーケットプレイスとして、2025年7月1日にCloudflareが発表したのが「Pay per Crawl(クロールごとの支払い)」です。

Pay per Crawlは、既存のウェブインフラストラクチャと統合され、HTTPステータスコードと確立された認証メカニズムを活用して、有料コンテンツアクセスのフレームワークを作成します。 具体的には、Pay per Crawlを使ってサイトを構築するドメイン所有者は、そのサイトコンテンツについて「クローラーにコンテンツへのアクセスを無料で許可」「ドメイン全体を読み取る場合の料金を設定して読み取りを許可」「支払いオプションなしでアクセスを完全に拒否」の3種から、リクエストごとに設定することができます。

以下は、AIクローラーブロック機能の仕組みを説明した図です。AIクローラーがCloudflareにアクセスを要求した場合、AI Auditやウェブアプリケーションファイアウォール(WAF)を通して、リクエストが検査されます。不正なアクセスは遮断され、正常なリクエストはPay per Crawlの設定に応じて、ウェブサイトのコンテンツにアクセスできます。

CloudflareはPay per Crawlについて、「多くのウェブサイト運営者は、AIがコンテンツを自由にできるよう開いておくか、セキュリティを強めてアクセスを遮断するかの二者択一を迫られています。その中でCloudflareは、コンテンツクリエイターが自分の作品に誰がアクセスできるかをコントロールできるようにしたい、というシンプルな理念をスタートさせました。報道機関や出版社、そして大規模ソーシャルメディアプラットフォームと数百回に及ぶ対話を重ねた結果、彼らは一貫して『AIクローラーにコンテンツへのアクセスを許可したいが、それに対して報酬を受け取りたい』という第3の選択肢を望んでいることがわかりました。そのため私たちは、一律のブロックや無償のオープンアクセスではなく、コンテンツ所有者がインターネット規模でコンテンツを収益化できるようにしたいと考えています」と語りました。

Pay per Crawlは、AIクローラーに料金を請求できる新しい収益計画が可能なプラットフォームとして、サイトのトラフィックを減少させる可能性があるクローラーに料金を請求したりクローラーをブロックしたりすることが可能です。Pay per Crawlの発表に合わせてプリンスCEOは、「オリジナルコンテンツこそが、インターネットを20世紀における偉大な発明の一つにしているのです。私たちはそれを守るために力を合わせなければなりません。AIクローラーはコンテンツを際限なく収集してきました。私たちの目標は、AI企業のイノベーションを支援しつつ、クリエイターの手に力を取り戻すことです」と述べており、Pay per Crawlの発表を「コンテンツ独立記念日」と表現しています。