这条规则看什么
把 robots.txt 解析为 user-agent 分组后，gptbot、claudebot、perplexitybot、oai-searchbot 和 google-extended 中的任何一个都没有被禁止访问 /，并且首页对爬虫形态的请求返回了 HTTP 200。精确的 agent 分组优先于 * 分组，最长匹配的规则生效，长度相同时 Allow 优先，Disallow 值为空时不匹配任何路径，* 视为通配符。当首页拒绝了该请求时，判定取决于用浏览器形态的 User-Agent 对同一 URL 进行的第二次探测：如果这次返回 200，说明拒绝针对的是已识别的爬虫，该检查以 robots-ai-blocked 判定为失败；如果同样被拒绝，说明拒绝针对的是扫描所用的地址而不是站点，该检查按未验证计 6 分中的 2 分。
失败意味着什么
至少有一个 AI 爬虫被禁止访问站点根目录，或者服务器直接拒绝了已识别的爬虫。
怎么修
- 部分满足时：在 CDN 或 WAF 中确认已识别的 AI 爬虫是否被放行，以及来自哪些网络。本次扫描无法从这里确认这一点。
它如何计入分数
这条规则满分 6 分，计入「AI 爬虫访问」维度；该维度占总分的 16%。扫描器对当前页面按同样的规则计算， 计分方式（含“不适用”如何从分母中移除）写在 中文方法论。
继续读
- 英文完整分析页： /checks/robots-ai-allowed/（为什么有这条规则、它如何被验证、示例）。
- 全部 40 条规则 按 12 个维度分组的总览。
- 要看你自己的这一项结果，运行 免费扫描。