这是就绪度审计,不是提及监测

规则 · 1 分 · AI 爬虫访问

robots.txt 声明了内容政策

这是扫描器执行的 1 分规则之一,属于「AI 爬虫访问」(权重 16%)。完整分析文字仍是英文,下面的规则、失败含义和修法已翻译。

这条规则看什么

robots.txt 中包含一条带值的 Content-Signal 指令,值写在同一行,例如 `Content-Signal: search=yes, ai-input=yes, ai-train=no`。该指令在任意行首做不区分大小写的匹配。

失败意味着什么

robots.txt 中没有 Content-Signal 指令。

怎么修

  • 失败时:添加一行,例如:Content-Signal: search=yes, ai-input=yes, ai-train=no。采用尚早,权重也低,但它能在每个爬虫本来就会读取的文件里表明你的立场。

它如何计入分数

这条规则满分 1 分,计入「AI 爬虫访问」维度;该维度占总分的 16%。扫描器对当前页面按同样的规则计算, 计分方式(含“不适用”如何从分母中移除)写在 中文方法论。

继续读