🤖AI クローラー メトリクスレポート(直近30日)
2026-08-27 〜 2026-09-25
作成: 2026-09-25 09:42:11 UTC
🛡 セキュリティ🤖 AIクローラー⚡ パフォーマンス※コンテンツの切り替えには時間がかかる場合があります

📊 直近30日分(2026-08-27 〜 2026-09-25)のデータを集計

サマリー

AIクローラー全体の活動量を把握できます。

検索エンジン経由リクエスト(AI含む)
8,620
AIエージェント別 リクエスト数
48,250
許可されたリクエスト
45,100
93%
ブロックされたリクエスト
3,150
遮断率 6.5%
総合評価コメント 直近30日間でAIエージェント経由のリクエストは合計48,250件、うち93.5%にあたる45,100件が許可されています。GPTBot(9,800件)とClaudeBot(7,200件)というトレーニング用クローラーが最も活発ですが、実際のユーザー参照であるChatGPT-User(6,200件)やClaude-User(3,100件)からのアクセスも一定数あり、AI経由でサイトが実際に参照される機会が着実に生まれていることがわかります。全体として、AI検索・AIアシスタントからの注目度は良好な状態です。
カテゴリ別サマリー

クローラーの分類(カテゴリ)横断で、許可済み・失敗・転送量を集計したものです。

カテゴリ許可済みリクエスト失敗リクエスト転送量合計
AI Assistant 9,200100 136.4 MB
AI Search 7,7000 87.7 MB
AI Crawler 21,2003,050 1.35 GB
Search Engine Crawler(参考) 5,9000 324.2 MB
Archiver 3200 7.6 MB
CHAPTER 1
AIO測定(AI Assistant・AI Search)

AIサービス経由でサイトがどの程度参照・利用されているかを確認します。AIアシスタントやAI検索インデックスからのアクセス状況を把握し、AIO施策の状況把握に活用してください。

① AI Assistant

ユーザーがAIサービスで質問・検索した際に、AIがサイトを参照したリクエスト数です。

クローラー件数
ChatGPT-User (OpenAI)AI Assistant 6,200
Claude-User (Anthropic)AI Assistant 3,100
② AI Search

AI検索エンジンがサイトをインデックス登録しているリクエスト数です。インデックスが増えるほど今後のAI検索流入が期待できます。

クローラー件数
PerplexityBotAI Search 2,450
OAI-SearchBot (OpenAI)AI Search 1,900
③ 検索エンジン経由リクエスト(参考)

Google・Bing・Baidu等、従来型の検索エンジンクローラーです。AI機能経由の流入も含まれますが、通常の検索流入と分離はできません。

クローラー件数転送量
Googlebot 5,900324.2 MB
紹介元別 概要(オペレーター単位)

サイトへの訪問者を実際に紹介した件数(総リファラ数)を、運営元(オペレーター)単位で集計したものです。

オペレーター件数
Google (AI Overview含む)AI Assistant 5,200
Microsoft (Bing / Copilot含む)AI Assistant 1,800
PerplexityAI Assistant 980
OpenAI (ChatGPT)AI Assistant 640

※ Google AI Overview / Copilot 等のAI経由リファラーを集計。

紹介元分析コメント 検索エンジン経由の紹介トラフィック(AI含む)は合計8,620件で、うちGoogle(AI Overview含む)が5,200件と過半数を占めています。Perplexity経由の紹介も980件あり、AI検索プラットフォームからの直接流入が着実に発生している状況です。
CHAPTER 2
AIクローラー測定(AI Crawler)

AIクローラー(トレーニング用)によるサーバーへのアクセス状況を確認します。転送量・リクエスト数の多いクローラーはサーバーリソースを消費します。なお、トレーニング用クローラーへの対応は、AI AssistantやAI Searchの動作には基本的に影響しません。

④ AI Crawler

AIモデルのトレーニング・改善のため自発的にサイトを巡回しているリクエスト数です。

クローラー件数
GPTBot (OpenAI)AI Crawler 9,800
ClaudeBot (Anthropic)AI Crawler 7,200
Google-Extended (Gemini)AI Crawler 5,400
Bytespider (ByteDance)AI Crawler 4,100
AmazonbotAI Crawler 2,200
クローラー転送量
GPTBot (OpenAI)AI Crawler 488.3 MB
ClaudeBot (Anthropic)AI Crawler 379.6 MB
Google-Extended (Gemini)AI Crawler 274.7 MB
Bytespider (ByteDance)AI Crawler 581.7 MB
AmazonbotAI Crawler 124.0 MB
クローラー分析コメント GPTBot・ClaudeBotはいずれも歓迎すべきクローラーで、当社評価上も許可を維持すべき対象です。一方、Bytespider(ByteDance)が4,100件・610MBと、トレーニング系クローラーの中では転送量が突出しており、当社評価では「警戒」に分類されるクローラーです。データ利用目的が不透明なため、アクセス量の増加傾向が続く場合は制限を検討すべき状況です。
最もクロールされたパス(上位)

AIが重点的に収集しているページ。AIOに取り上げられやすいコンテンツの傾向がわかります。

パス件数転送量
/blog/cloudflare-waf-guide 3,40042.9 MB
/pricing 2,90017.2 MB
/ 2,60021.0 MB
/docs/getting-started 2,10029.6 MB
/blog/ai-search-optimization 1,80024.8 MB
推奨対応
優先度:中 Bytespiderのアクセス制限

ByteDance運営のBytespiderが4,100件・610MBと、トレーニング系クローラーの中で転送量が最大です。データ利用目的が不透明で、著作権・コンテンツ権利の観点からリスクがあります。

推奨アクション robots.txtでBytespiderのクロールを制限するか、WAFカスタムルールでUser-Agentに基づきブロックしてください。
優先度:低 robots.txtの整備状況の確認

歓迎すべきクローラー(GPTBot・ClaudeBot・Google-Extended等)は現状問題なくアクセスできていますが、robots.txtで明示的に許可を宣言できているか確認が推奨されます。

推奨アクション robots.txtに歓迎するクローラー名を明記し、意図しない将来的な制限変更に備えてください。
総合コメント 最優先で確認すべきは、Bytespiderの転送量急増です。robots.txtでの制限、またはWAFカスタムルールでのアクセス制御を検討してください。