AIボットのトラフィックが300パーセント急増 パブリッシング業界を牽引するOpenAIとMetaの動向

AIボットのトラフィックが300パーセント急増 パブリッシング業界を牽引するOpenAIとMetaの動向

AIボットによるウェブサイトへのトラフィックが、過去1年間で爆発的に増加している。セキュリティ大手のAkamai（アカマイ）が発表した最新のレポートによると、グローバルでのAIボット活動は300パーセントもの急増を記録した。特にパブリッシング（出版・メディア）業界は、AI開発企業にとって貴重なデータ源として激しいターゲティングを受けている実態が浮き彫りになった。

この調査は、Akamaiのボット管理ツールを通じて収集されたアプリケーション層のトラフィックデータを分析したものだ。AIボットのトラフィックが最も集中しているのはEコマース分野で、全体の48パーセントを占める。それに次ぐのがメディア業界で、全体の13パーセントを記録した。メディア業界の内訳を見ると、パブリッシング企業へのアクセスが40パーセントと最も多く、放送やOTT（動画配信サービス）の29パーセントを大きく上回っている。

パブリッシャーにとって、これらのボットは単なるアクセス増を意味するのではない。自社のコンテンツが無断でAIの学習に利用されたり、検索結果に直接回答を表示されることでサイト訪問者が減少したりするリスクを孕んでいる。本記事では、パブリッシング業界を席巻する主要なAIボットの動向と、それらに対する現実的な防衛策について詳しく解説していく。

パブリッシング業界を狙う主要なAIプレイヤー

メディア企業に送られるAIボットのリクエストにおいて、圧倒的なシェアを誇っているのがOpenAIだ。同社はメディア業界へのリクエストで首位に立っており、そのリクエストの40パーセントがパブリッシング企業に向けられている。OpenAIがこれほど高いトラフィックを生成している背景には、複数の役割を持つボットを使い分けている点がある。

OpenAIが運用する3種類のボット

OpenAIは、用途に応じて主に3つのボットを稼働させている。まず「GPTBot」は、大規模言語モデル（LLM）のトレーニングのためにウェブ上のデータを収集する。次に「OAI-SearchBot」は、AIによる検索機能を支えるための情報を収集する役割を担う。そして「ChatGPT-User」は、ユーザーがChatGPTで質問をした際に、リアルタイムで最新の情報を取得するために動くボットだ。このように、学習、検索、リアルタイム応答という異なる目的でサイトを巡回しているため、トラフィックが累積しやすい構造になっている。

追随するMetaとByteDanceの動向

OpenAIに次いで多くのトラフィックを生成しているのが、MetaとByteDanceだ。MetaはLlamaなどの独自モデルの強化を進めており、SNS以外の外部コンテンツ収集にも力を入れている。TikTokを運営するByteDanceも、AI技術の高度化に向けて広範囲なクローリングを行っている。これら上位3社に続き、Anthropic（アンソロピック）やPerplexity（パープレキシティ）も名を連ねているが、上位陣に比べるとそのボリュームは現時点では小さい。

学習用クローラーとフェッチャーボットの決定的な違い

Akamaiのレポートでは、AIボットをその挙動に基づいて4つのタイプに分類している。その中でも、パブリッシャーが特に注目すべきなのが「学習用クローラー（Training Crawlers）」と「フェッチャーボット（Fetcher Bots）」の2種類だ。これらはサイトに与える影響が根本的に異なる。

長期的な影響を与える学習用クローラー

学習用クローラーは、将来のAIモデルを構築するために膨大なコンテンツを収集することを目的としている。2025年後半のメディア業界におけるAIボット活動の63パーセントをこのタイプが占めていた。これらのボットをブロックすれば、将来のAIが自社のコンテンツを学習することを防げる。しかし、これは「今現在のアクセス」には直接的な影響を及ぼさない長期的な対策という意味合いが強い。

収益に直結するフェッチャーボットの脅威

一方で、より差し迫った脅威とされているのがフェッチャーボットだ。これは、ユーザーがAIチャットボットに質問を投げた際、その回答を作成するためにリアルタイムで特定のページを取得しに行くボットを指す。メディア業界におけるAIボット活動の24パーセントを占め、そのうち43パーセントがパブリッシング企業をターゲットにしている。

フェッチャーボットは、パブリッシャーの収益に直接的なダメージを与える可能性がある。AIが記事の内容を読み取り、要約してユーザーに提示してしまうため、ユーザーは元の記事を読みに行く必要がなくなるからだ。これを「ゼロクリック問題」と呼ぶ。サイトへの流入が失われれば、広告収入や購読者獲得の機会も同時に失われることになる。

上記の図が示すように、学習用クローラーとフェッチャーボットでは対策の優先順位が変わってくる。将来のAIのあり方をコントロールしたいのか、それとも現在の収益を守りたいのかによって、ブロックすべき対象を精査する必要がある。

パブリッシャーが取るべき3つの対抗策

AIボットの急増に対し、サイト運営者はどのような手を打てるのだろうか。Akamaiのレポートによれば、現在多くの企業が採用している対策は主に3つの手法に集約される。単純にすべてを拒否するのではなく、戦略的にボットをコントロールする動きが出ている。

1. 拒否（Deny）による完全遮断

最も一般的な方法は、特定のボットからのリクエストを完全に拒否することだ。robots.txtで指定したり、WAF（Web Application Firewall）の設定でボットのIPアドレスやユーザーエージェントをブロックしたりする。これにより、サーバー負荷を軽減し、コンテンツの無断取得を防ぐことができる。ただし、AI検索からの流入も完全に断たれるリスクがある。

2. ターピット（Tarpit）によるリソース消費

「ターピット（底なし沼）」とは、ボットからの接続をあえて切断せず、非常に遅い速度で応答を返し続ける手法だ。ボット側の接続枠を長時間占有させることで、ボットを運用する側のコンピューティングリソースを無駄に消費させる効果がある。あるパブリッシャーはこの手法を用いて、AIボットのリクエストの97パーセントを制御することに成功したという。完全に拒否するよりも巧妙な対抗策と言える。

3. 遅延（Delay）による制限

応答を返す前に意図的な一時停止を入れる手法だ。これにより、ボットによる高速なクローリングを物理的に不可能にする。サーバーへの瞬間的な負荷を抑えつつ、コンテンツの取得効率を大幅に下げることができる。人間がブラウザで閲覧する分には影響が出ない程度の遅延を設定することで、UX（ユーザーエクスペリエンス）を維持しながら対策が可能だ。

一律ブロックが最適解ではない理由

AIボットをすべて遮断すれば安心かというと、話はそう単純ではない。Akamaiのレポートでは、すべてのAIボットを無差別にブロックすることに対して警鐘を鳴らしている。そこには、将来的なビジネスチャンスを損失するリスクが含まれているからだ。

コンテンツライセンス契約の可能性

現在、OpenAIなどのAI開発企業は、高品質なデータを確保するためにパブリッシャーと直接ライセンス契約を結ぶ動きを加速させている。一律にすべてのアクセスを遮断してしまうと、こうした交渉のテーブルに載る機会を自ら放棄することになりかねない。実際に、一部のパブリッシャーはあえてボットのアクセスを完全に遮断せず、交渉の余地を残しながら「ターピット」などで制御する戦略をとっている。

AI検索経由のトラフィック確保

Googleの「AI Overviews」やPerplexityのようなAI検索エンジンは、回答の根拠として出典元へのリンクを表示することがある。フェッチャーボットをすべてブロックすると、こうしたAI検索の結果に自社のコンテンツが表示されなくなり、新しい形の検索流入を完全に失うことになる。これからのSEO（検索エンジン最適化）は、従来の検索結果だけでなく、AIの回答の中にいかに適切に引用されるかを考える必要が出てくるだろう。

今後の展望とサイト運営者の課題

AIボットの活動は今後さらに洗練され、増加の一途をたどると予想される。パブリッシャーにとって重要なのは、学習用クローラーとフェッチャーボットを区別して管理することだ。学習用をブロックして自社の知財を守りつつ、フェッチャーを部分的に許可してAI検索からの露出を確保するといった、きめ細やかな制御が求められる。

また、Akamaiのようなボット管理ソリューションを導入することも一つの選択肢だが、まずは自社のログを確認し、どのボットがどれだけの頻度でアクセスしているかを把握することから始めるべきだ。AIボットとの共存か、それとも徹底抗戦か。その判断が、今後のパブリッシングビジネスの成否を分けることになるだろう。

この記事のポイント

• AIボットのトラフィックは前年比300パーセント増と爆発的に伸びている。
• OpenAI、Meta、ByteDanceの3社がトラフィックの大部分を占めている。
• 学習用クローラーは将来のモデルのため、フェッチャーは現在の回答のために動く。
• フェッチャーボットはユーザーのサイト訪問を奪う「ゼロクリック問題」を引き起こす。
• 一律ブロックではなく、ターピットや遅延などの手法を組み合わせた戦略的制御が重要だ。

海田 洋祐

・ 複数業界における17年間のデジタルビジネス開発経験
・ ウェブサイト開発のためのHTML、PHP、CSS、Java等の実用的知識
・ 15ヶ国語対応の多言語SaaSの開発経験
・ 17年間にも及ぶ、Eコマース長期運営経験
・ 幅広い業界でのSEO最適化の豊富な経験