このルールが見ているもの
robots.txt を user-agent グループに解析したとき、gptbot、claudebot、perplexitybot、oai-searchbot、google-extended のいずれも / へのアクセスを禁止されておらず、かつホームページがクローラー形式のリクエストに HTTP 200 を返していること。完全一致の agent グループは * グループより優先され、最も長く一致したパターンが適用され、同じ長さでは Allow が優先され、Disallow の値が空ならどのパスにも一致せず、* はワイルドカードとして扱う。ホームページがリクエストを拒否した場合、判定は同じ URL をブラウザ形式の User-Agent で再度プローブした結果に従う。それが 200 を返せば拒否は識別されたクローラーに向けられたものであり、このチェックは robots-ai-blocked として失敗する。同じように拒否された場合は、拒否がサイトではなくスキャン元のアドレスに対するものであり、このチェックは未検証として 6 点中 2 点を計上する。
失敗すると何を意味するか
少なくとも 1 つの AI クローラーがサイトルートへのアクセスを禁止されているか、サーバーが識別されたクローラーを明示的に拒否している。
どう直すか
- 一部だけ満たしている場合：CDN または WAF で、識別された AI クローラーが許可されているか、どのネットワークから許可されているかを確認する。このスキャンではそこまで確定できない。
スコアにどう反映されるか
このルールの配点は 6 点で、ディメンション「AI クローラーのアクセス」 に計上されます。このディメンションは合計の 16% を占めます。 スキャナは実際のスキャンでも同じルールで採点します。採点方法（「当てはまらない」が 分母から外れる仕組みを含む）は 日本語の方法論にあります。
続きを読む
- 英語の完全な分析ページ： /checks/robots-ai-allowed/（このルールがなぜあるのか、どう検証されているか、実例）。
- 全 40 件のルール を 12 個のディメンション別にまとめた一覧です。
- 自分のサイトでこの項目の結果を見るには、無料スキャンを実行してください。