这条规则看什么
robots.txt 可读取，即已公布爬虫政策。可读取指响应体含有非空白内容：返回 HTTP 200 但响应体为空或只有空白字符的，没有公布任何政策，该检查不通过，与 robots-present 的判定相同。
怎么修
- 失败时：发布 robots.txt，说明欢迎哪些爬虫。
它如何计入分数
这条规则满分 1 分，计入「AI 上下文文件」维度；该维度占总分的 5%。扫描器对当前页面按同样的规则计算， 计分方式（含“不适用”如何从分母中移除）写在 中文方法论。
继续读
- 英文完整分析页： /checks/ai-context-robots/（为什么有这条规则、它如何被验证、示例）。
- 全部 40 条规则 按 12 个维度分组的总览。
- 要看你自己的这一项结果，运行 免费扫描。