这是就绪度审计,不是提及监测
解读

llms.txt:证据究竟支持什么

这个文件加进去很容易,要把它当成一根杠杆却很难说得通。本文讲为什么仍然值得发布一个,也讲为什么不该假装它比实际更重要。

作者 Alex Xu(英文)更新于 2026-10-24阅读约 8 分钟

llms.txt 是一份提案中的 Markdown 文件,放在域名根目录,用机器可读的方式描述这个站点。 发布它的成本很低,推荐它的人很多,而支撑它的证据却比这一领域里几乎任何其他东西都少—— 正因如此,它成了一个好用的试金石:看一个工具是否愿意把这件事说出来。

本站发布了一个,也检查它是否存在,并给它 100 分中的 3.3 分 的权重。 只有把这项检查理解为「发布的成本」,而不是「被读取的价值」,这三个事实才彼此自洽。 这正是本文要论证的立场。

什么是 llms.txt?

一个位于 /llms.txt 的 Markdown 文件,包含一个标题、一句摘要和一组链接, 写给语言模型而不是浏览器看。

这项约定记录在 llmstxt.org,它是第一手来源,也是在形成看法之前唯一值得先读的一份。它的形态刻意保持简单: 一个写着项目名的 H1,一段引用块摘要,然后是若干链接小节,每条链接配一行说明。

扫描器实际检查的是什么?

四项结构属性:文件大于 20 字节、包含一个 H1、包含一行以 > 开头的摘要、至少包含三个 Markdown 链接。缺少其中任何一项都算部分通过。

文件说了什么,不在评判范围之内。三个指向并不存在的页面的链接,同样能通过结构测试—— 这是本站最清楚的一个例子,说明某条规则衡量的是信号是否存在,而不是它的质量; 规则页也把这一点原话说清楚了。

有哪家爬虫的文档写明会读它吗?

我们能打开的那些都没有。OpenAI 的帮助中心和 Anthropic 的爬虫文章都指定 robots.txt 作为控制手段;两者都没有承诺会读取 llms.txt。

这是关于文档的陈述,不是关于行为的陈述,而这个区别很重要。一项抓取政策可以被写进文档, 却依然被无视;一项没有写进文档的约定,也可能被悄悄采纳。能诚实说出来的范围要窄得多: 没有任何厂商公开过承诺,所以站长无法从证据推导出一个预期结果。

那为什么还要给它权重?

因为发布它几乎不花钱,而对于一个效果尚未被测量的信号,小权重就是正确的定价。 这套算术是公开的,而不是藏起来的。

规则分值维度权重对总分的上限
llms.txt 结构检查该维度 6 分中的 4 分5%100 分中的 3.3
robots.txt 可读取该维度 6 分中的 1 分5%100 分中的 0.8
对照:爬虫访问—16%100 分中的 16
对照:机器可读性—12%100 分中的 12

一个完美的 llms.txt 值 3.3 分。放行爬虫,值总分的 16%;把实体标记写对,值 12%。 一个正在决定把某个下午花在哪里的站点,答案就在这组对比里,而那不是这个文件。

这个文件真正有用在哪?

两件与排名无关的事:给那些确实会读它的工具一份可读的摘要,以及给站长一个不得不动手的契机。

  • 文档站与编码代理。写得好的 llms.txt,对需要概括一个代码仓库 或一棵文档树的工具来说是一份有用的导航摘要,而这种用途并不依赖任何搜索引擎采纳它。
  • 写摘要本身就是练习。用一句话如实描述这个站点是什么, 会暴露出那些做不到这一点的文案——而这句话在 meta description、Organization 节点和推销话术里本来也都需要。
  • 保持正确很便宜。链接就是导航里的那些, 所以重新生成一次只是一份 diff,而不是一篇文章。

一个不虚构的版本长什么样?

很短,而且是从页面本身生成,而不是从模板生成。下面每一行都可以对照它所描述的站点被验证。

# Your Brand

> One sentence on what the product does, written for a reader who has
> never seen the site.

## Core pages

- [Product](https://your-domain.com/product/): what it does and who it is for
- [Pricing](https://your-domain.com/pricing/): what costs money and what does not
- [About](https://your-domain.com/about/): who runs it and how to reach them

## Notes

- The tool is free and requires no account.

两种失败模式在这个形态里就能看出来。由模板生成的文件,站点一变就会漂移。 由页面真实的标题、描述和导航生成的文件,无法描述站点里并不存在的东西—— 这正是 llms.txt studio(英文)所围绕的性质,也是它去读取首页、而不是让你手动输入的原因。

与其优化这个文件,我该做什么?

去修评分真正加权的地方。爬虫访问、实体标记和答案前置结构三者加起来, 权重超过这个上下文文件的四倍。

  1. 检查 robots.txt 是否放行你希望从中获得引用的那些爬虫。 这是 16% 的维度,而它只是一个文件。
  2. 声明实体以及它的 sameAs 资料链接。那是 12% 的维度, 也是十几行 JSON。
  3. 把标题改写成问句,下面跟一句回答。那是 10% 的维度, 花的是编辑功夫,而不是基础设施。
  4. 在这些之后再去发布 llms.txt,因为它是对一个你已经让它变得可描述的站点的摘要。

这些权重背后的方法,包括把这份文件的权重压低到这种程度的理由,都在 方法页上;部署细节在 llms.txt 指南里。

关于 llms.txt 的问题

要想被 AI 搜索引用,我需要一个 llms.txt 吗?

不需要。本站能测量到的任何东西,都没有显示这个文件被读取过;而现有的爬虫文档指向的其实是 robots.txt。如果你想要一份机器可读的摘要,那就发布一个;但不要指望它能改变分数。

发布一个会带来什么坏处吗?

只有一种情况:它说了不真实的东西。一个描述你并不拥有的产品的文件,或者链接到并不存在的页面,就是一条读者或模型可以核查的说法,它造成的损失超过这个文件的价值。

那扫描器为什么还要检查它?

因为它成本低;因为一个发布了它的站点,至少被迫写下了自己是什么;也因为如果把它排除在外,评分就会对这一领域大部分站点已经采纳的一项约定视而不见。

证据与来源

GEO can boost visibility by up to 40% overall in generative engine responses, and in the paper's Table 1 the best of the tested methods improve on the no-optimization baseline by 41% and 28%. — Generative Engine Optimization, KDD 2024

本文中的每一个数字,都来自已发表的研究,或者来自扫描器执行的规则集;两者都有链接,也都可以重新运行。

Primary sources

Alex Xu — LLMention 维护者

我构建并维护 LLMention:扫描器、规则集,以及它背后的那项研究。这些工作以源码形式发布,所以方法可以被核查,而不必凭空相信。

本站如何写作与获得资助(英文) →

接下来读