このルールが見ているもの
/robots.txt へのリクエストが、空でないボディとともに HTTP 200 を返す。200 でもボディが空、または空白文字だけの場合は未提供として扱う。政策を何も公開していないためである。
失敗すると何を意味するか
ドメインルートに読み取り可能な robots.txt がない。
どう直すか
- 失敗している場合：robots.txt を公開する。robots.txt がない場合、すべてのクローラーが既定で許可されるため、これはブロックではなく政策の欠落である。
スコアにどう反映されるか
このルールの配点は 2 点で、ディメンション「AI クローラーのアクセス」 に計上されます。このディメンションは合計の 16% を占めます。 スキャナは実際のスキャンでも同じルールで採点します。採点方法（「当てはまらない」が 分母から外れる仕組みを含む）は 日本語の方法論にあります。
続きを読む
- 英語の完全な分析ページ： /checks/robots-present/（このルールがなぜあるのか、どう検証されているか、実例）。
- 全 40 件のルール を 12 個のディメンション別にまとめた一覧です。
- 自分のサイトでこの項目の結果を見るには、無料スキャンを実行してください。