这条规则看什么
请求 /robots.txt 返回 HTTP 200 且响应体非空。返回 200 但响应体为空或只有空白字符的，视为未提供，因为它没有公布任何政策。
失败意味着什么
域名根目录下没有可读取的 robots.txt。
怎么修
- 失败时：发布 robots.txt。没有 robots.txt 时，所有爬虫默认都被允许，因此这是政策缺口，而不是屏蔽。
它如何计入分数
这条规则满分 2 分，计入「AI 爬虫访问」维度；该维度占总分的 16%。扫描器对当前页面按同样的规则计算， 计分方式（含“不适用”如何从分母中移除）写在 中文方法论。
继续读
- 英文完整分析页： /checks/robots-present/（为什么有这条规则、它如何被验证、示例）。
- 全部 40 条规则 按 12 个维度分组的总览。
- 要看你自己的这一项结果，运行 免费扫描。