研究中的 30 个首页里有 6 个是新闻出版商——占样本的 20%——而且每一个都至少拒绝了一个被追踪的 AI 爬虫。6 个里有 3 个在 robots.txt 中禁止这些爬虫，但页面照常返回；第 4 个在边缘层拒绝爬虫，却把同一个 URL 正常返回给浏览器；还有 2 个对所有请求——无论来自爬虫还是浏览器——都以 401 或 403 回应。
新闻这一半也是这个更大发现里最密集的部分：30 个站点中有 9 个（30%）屏蔽了至少一个被追踪的爬虫，而 6 家新闻站点全部在其中。
有意思的问题不是它们是否屏蔽——它们显然屏蔽了——而是这种屏蔽在这套测量里让它们付出了什么，以及这个代价是不是一个错误。对一家正在谈内容授权的出版商来说，它可能是谈判的代价。对一个从来没有过这种对话的站点来说，它通常只是一个没人看过的设置。
是哪 6 家出版商，各自返回了什么？
3 家返回 200，并在 robots.txt 中禁止了一个被追踪的爬虫。1 家对爬虫返回 403、对浏览器返回 200。2 家对所有请求都返回 401 或 403。
| 首页 | 返回状态 | 是否放行被追踪的爬虫？ | 分数 |
|---|---|---|---|
| bbc.com | 200 | 否——robots.txt | 61 |
| spiegel.de | 200 | 否——robots.txt | 56 |
| theguardian.com | 200 | 否——robots.txt | 47 |
| zeit.de | 对爬虫 403，对浏览器 200 | 否——在边缘层被拒绝 | 26 |
| nytimes.com | 403 | 否——robots.txt | 12 |
| reuters.com | 401 | 否——robots.txt | 12 |
6 家里有 3 家在策略层拒绝，同时仍然返回页面。Zeit 在边缘层拒绝，这是更难的一种：没有任何 robots.txt 行能表达它，也没有爬虫能就它进行协商。最后 2 家不对任何人返回页面，所以它们的分数描述的是拒绝，而不是页面。
策略性屏蔽和直接拒绝有什么区别？
策略性屏蔽是一种声明。页面照常返回，robots.txt 写明哪些 agent 不得使用它，行为规范的爬虫会遵守。
直接拒绝是一堵墙。服务器对请求本身返回 401、403 或 429，所以爬虫永远看不到内容，也根本没有机会考虑那条策略。扫描器把它们保留为两个字段——blocked 和 refused——因为它们需要相反的修法。一个是改一行；另一个是 CDN 或 WAF 配置里的一条规则，而且往往在另一个系统里、由另一个团队维护。
Zeit 是第二种的干净例子：同一个 URL 对「浏览器形状」的请求返回 200，对「爬虫形状」的请求返回 403。这是一个发生在 robots.txt 起作用之前的屏蔽，也是样本里唯一一个可以从外部证明的配置——只需要改变 user-agent，别的什么都不用动。
在这套测量里，屏蔽让一家出版商付出多少？
被追踪爬虫这条规则属于「AI 爬虫访问」，也就是最重的维度，占总分的 16%。一个拒绝了某个被追踪爬虫的站点无法完整通过这个维度，所以在考虑内容之前，它的总分上限就已经下降了。作为参照：内容深度值 11%，信任值 10%，所以一次屏蔽的代价超过整个内容维度的分值。
测量到的效果是看得见的：返回了页面的 3 家出版商分别得到 61、56 和 47 分，都低于研究中「作出回应的站点」的 62 分平均。这不是因果关系的证明——这是 3 个大型、复杂的首页，它们在其他检查上也没有通过——但它与「这是一种结构性而非编辑性的扣分」相符。
屏蔽这些爬虫是个错误吗？
对大型出版商来说，大概不是，而且这也不是本站该下的判断。六分之六是一个模式，而不是 6 次巧合，但一次首页扫描分不清「授权策略」和「付费墙」、「bot 防护规则」或「从模板抄来的 robots 文件」。
这笔交换是看得清的。能被 ChatGPT、Claude、Perplexity 和豆包读取，是一家出版商被引用的方式，而一次引用就是一个分发渠道。把爬虫拒之门外，是用这个渠道去换授权谈判中的筹码；如果根本不存在谈判，那就是用它换了什么都没有。某个站点处在哪种情况，不是扫描能看见的。
对其他所有人来说，真正重要的区分是：一个屏蔽了这些爬虫的小站点，通常并不是在执行授权策略。它抄了一个模板，继承了一条 WAF 规则，或者在某个抓取事件里加了一条「全站禁止 bot」的规则，然后再没回头看过 user-agent 名单。这才是值得检查的情况，而 robots.txt 与 WAF 指南 正是逐条讲这件事的那一篇。
站点所有者应该先检查什么？
先读 robots.txt 里的爬虫名字，然后问一句：边缘层和它一致吗。两者可能不一致，而这种不一致在浏览器里是看不见的。
- 在
robots.txt里找GPTBot、ClaudeBot、PerplexityBot和Bytespider。其中任何一个下面出现Disallow: /，就是一次策略性屏蔽。 - 检查是否有 bot 防护规则对这几个 user-agent 返回 403。扫描会把它报告为「拒绝」而不是「策略性屏蔽」，这是从外部区分两者的唯一办法。
- 有意识地做决定。你主动选择、并且说得出理由的屏蔽，和一条你继承下来、解释不清的屏蔽，是两件事。
这是怎么测量的，这个数字又不能告诉你什么？
扫描器比较对同一个 URL 的两次请求：一次是爬虫形状的，一次是浏览器形状的。两者之间存在差异，就是「拒绝」；命中 robots.txt 的，就是「策略性屏蔽」；其余一切按页面正常评分。
它看不见的是意图或合同。它不知道一家出版商是否签了授权协议，也不会去抓取爬虫自己的日志来核实屏蔽是否被遵守。它测量的是前门的公开状态——对于一个要在一次请求里对任何域名起作用的工具来说，这是正确的范围。