博客:测量 AI 搜索的笔记
来自扫描器背后那次运行的六篇文章：没人引用的那个分布、那九个从未回应的首页、样本中大多数站点都存在的标记缺口，以及两条本站不会假装比它们实际更强的规则。
· 作者 Alex Xu（英文）
我们扫描了 30 个首页，没有一个拿到 A
这项研究里有一个数字人人都在引用，另外四个却很少被提起。这一篇讲的是它们背后的分布，包括那 9 行根本没有产出页面的记录。
六家新闻出版商，六家屏蔽 AI 爬虫
样本里的每一家新闻媒体都拒绝了 ChatGPT、Claude、Perplexity 和豆包背后至少一个爬虫。这是一个有可测量代价的策略选择，而且它未必是错的。
九个首页从未回应爬虫
403 不是一个页面。研究里有九行描述的是错误响应，而不是站点；把它们当作 0 计入，会得出一个更耸动、也更不真实的数字。
30 个站点里有 22 个让 AI 猜它们是谁
一个无法把名字绑定到域名的模型只能靠猜，而猜测不是引用。修复它的标记只有四行 JSON，而样本里大多数站点并没有。
llms.txt：证据究竟支持什么
这个文件加进去很容易，要把它当成一根杠杆却很难说得通。本文讲为什么仍然值得发布一个，也讲为什么不该假装它比实际更重要。
如何读懂一次未通过的检查，并修对地方
大多数糟糕的修复，都源于把一次失败当成一条指令。规则页正是为此写明每条检查不测什么；本文讲的就是怎么用这一点。
全部文章
6 / 6 篇按时间倒序排列。可按分类、年份筛选，或搜索标题。
这里发布什么？
第一手写作：来自 30 站研究的测量数据、对那些以值得解释的方式失效的规则的说明，以及一份记录——这套方法在哪些地方比它看起来更弱。这里没有新闻稿，没有赞助内容，也没有哪一篇是为了填满日历而写的。
标准只有一句话：删掉这篇文章，然后问读者失去了什么。如果答案是一个他们在别处拿不到的数字，或者一个他们可以自己执行的步骤，它就留下。如果答案是什么都没有，它就不会被发布——这就是为什么这里有六篇，而不是三十篇。
这个档案所依据的数字，全部来自对 30 个首页的一次运行：53% 被评为 F，7% 达到 B，30% 根本没有回应爬虫，27% 声明了实体，63% 既没有实体也没有 sameAs 列表。下面每一篇都会链到它出自的那些数据行，而这些数据行可以重新扫描。
每一篇是怎么做出来的？
每一篇文章都建立在可以重新运行的数据之上。研究数据行来自扫描器本身，规则权重来自已公布的目录，局限来自附在每条规则上的备注。
| 文章 | 依据的数据 | 对应的规则 |
|---|---|---|
| 30 个分数的分布 | 已公布的研究数据行 | 全部 40 项，按维度分组 |
| 新闻出版商 | 六行数据、它们的状态码与 robots | 爬虫可通行性 |
| 那九个从未回应的首页 | 状态码与浏览器状态码配对 | 测量防护 |
| 实体缺口 | 整个样本的两个布尔字段 | 实体与 sameAs |
| llms.txt 与证据 | 权重算法 | 上下文文件 |
| 读懂一次未通过的检查 | 规则页及其备注 | 已公布的局限 |
什么不会出现在这里？
- 赞助文章。这里没有付费投放，厂商也不能靠买一份报告来买到一个提及。
- 没有来源的数字。一个无法追溯到研究或可重新运行的扫描的数字不会被写进去，无论它听起来多可信。
- 装扮成测量的预测。扫描器不会就你的品牌去询问模型，所以关于它的文章也不会。
- 为数量而数量。发布计划是一个发布的承诺，而一个靠降低标准来兑现它的站点，实际发布的东西比它看起来的要少。
遇到我不同意的文章，该怎么读？
把检查项、URL 和扫描报告的结果发给我们。一个点名了具体规则的分歧，是这个项目收到的最有用的消息，而方法之所以公开，正是为了让分歧可以具体。
关于写作的问题
这是一个博客吗？
这是一个第一手笔记的档案：研究结果、规则说明和明确写出的局限。更新节奏目标为每两三天一篇；每一篇背后仍要有一次测量——不是新闻流，也没有赞助内容。
我可以引用其中的文章吗？
可以，请注明出处并附上链接。只引一个数字而不交代它来自哪个样本，正是这个档案写作时想要让人更难做到的事，所以请连同承载这个数字的那句话和它的来源一起取用。
这些文章经过同行评审吗？
没有，把它们说成经过同行评审是不实的。它们对照已公布的数据和规则目录进行核查，每一篇都会说明自己的方法在哪些地方比它看起来更弱。
证据与来源
GEO can boost visibility by up to 40% overall in generative engine responses, and in the paper's Table 1 the best of the tested methods improve on the no-optimization baseline by 41% and 28%. — Generative Engine Optimization, KDD 2024
这个档案所讨论的权重遵循已发表的研究，而不是个人偏好；每个数字背后的研究数据行都已公布，并且可以重新运行。
Primary sources
- Generative Engine Optimization (KDD 2024) — the measured gains the citability weight follows
- What Generative Search Engines Like — what generative engines prefer in retrieved content
- What Gets Cited: Competitive GEO — which of two competing sources is cited first
- The rule set and its weights — every check, its weight and its pass condition