llms.txt 是一份提案中的 Markdown 文件,放在域名根目录,用机器可读的方式描述这个站点。 发布它的成本很低,推荐它的人很多,而支撑它的证据却比这一领域里几乎任何其他东西都少—— 正因如此,它成了一个好用的试金石:看一个工具是否愿意把这件事说出来。
本站发布了一个,也检查它是否存在,并给它 100 分中的 3.3 分 的权重。 只有把这项检查理解为「发布的成本」,而不是「被读取的价值」,这三个事实才彼此自洽。 这正是本文要论证的立场。
什么是 llms.txt?
一个位于 /llms.txt 的 Markdown 文件,包含一个标题、一句摘要和一组链接, 写给语言模型而不是浏览器看。
这项约定记录在 llmstxt.org,它是第一手来源,也是在形成看法之前唯一值得先读的一份。它的形态刻意保持简单: 一个写着项目名的 H1,一段引用块摘要,然后是若干链接小节,每条链接配一行说明。
扫描器实际检查的是什么?
四项结构属性:文件大于 20 字节、包含一个 H1、包含一行以 > 开头的摘要、至少包含三个 Markdown 链接。缺少其中任何一项都算部分通过。
文件说了什么,不在评判范围之内。三个指向并不存在的页面的链接,同样能通过结构测试—— 这是本站最清楚的一个例子,说明某条规则衡量的是信号是否存在,而不是它的质量; 规则页也把这一点原话说清楚了。
有哪家爬虫的文档写明会读它吗?
我们能打开的那些都没有。OpenAI 的帮助中心和 Anthropic 的爬虫文章都指定 robots.txt 作为控制手段;两者都没有承诺会读取 llms.txt。
这是关于文档的陈述,不是关于行为的陈述,而这个区别很重要。一项抓取政策可以被写进文档, 却依然被无视;一项没有写进文档的约定,也可能被悄悄采纳。能诚实说出来的范围要窄得多: 没有任何厂商公开过承诺,所以站长无法从证据推导出一个预期结果。
那为什么还要给它权重?
因为发布它几乎不花钱,而对于一个效果尚未被测量的信号,小权重就是正确的定价。 这套算术是公开的,而不是藏起来的。
| 规则 | 分值 | 维度权重 | 对总分的上限 |
|---|---|---|---|
| llms.txt 结构检查 | 该维度 6 分中的 4 分 | 5% | 100 分中的 3.3 |
| robots.txt 可读取 | 该维度 6 分中的 1 分 | 5% | 100 分中的 0.8 |
| 对照:爬虫访问 | — | 16% | 100 分中的 16 |
| 对照:机器可读性 | — | 12% | 100 分中的 12 |
一个完美的 llms.txt 值 3.3 分。放行爬虫,值总分的 16%;把实体标记写对,值 12%。 一个正在决定把某个下午花在哪里的站点,答案就在这组对比里,而那不是这个文件。
这个文件真正有用在哪?
两件与排名无关的事:给那些确实会读它的工具一份可读的摘要,以及给站长一个不得不动手的契机。
- 文档站与编码代理。写得好的 llms.txt,对需要概括一个代码仓库 或一棵文档树的工具来说是一份有用的导航摘要,而这种用途并不依赖任何搜索引擎采纳它。
- 写摘要本身就是练习。用一句话如实描述这个站点是什么, 会暴露出那些做不到这一点的文案——而这句话在 meta description、Organization 节点和推销话术里本来也都需要。
- 保持正确很便宜。链接就是导航里的那些, 所以重新生成一次只是一份 diff,而不是一篇文章。
一个不虚构的版本长什么样?
很短,而且是从页面本身生成,而不是从模板生成。下面每一行都可以对照它所描述的站点被验证。
# Your Brand > One sentence on what the product does, written for a reader who has > never seen the site. ## Core pages - [Product](https://your-domain.com/product/): what it does and who it is for - [Pricing](https://your-domain.com/pricing/): what costs money and what does not - [About](https://your-domain.com/about/): who runs it and how to reach them ## Notes - The tool is free and requires no account.
两种失败模式在这个形态里就能看出来。由模板生成的文件,站点一变就会漂移。 由页面真实的标题、描述和导航生成的文件,无法描述站点里并不存在的东西—— 这正是 llms.txt studio(英文)所围绕的性质,也是它去读取首页、而不是让你手动输入的原因。
与其优化这个文件,我该做什么?
去修评分真正加权的地方。爬虫访问、实体标记和答案前置结构三者加起来, 权重超过这个上下文文件的四倍。
- 检查
robots.txt是否放行你希望从中获得引用的那些爬虫。 这是 16% 的维度,而它只是一个文件。 - 声明实体以及它的
sameAs资料链接。那是 12% 的维度, 也是十几行 JSON。 - 把标题改写成问句,下面跟一句回答。那是 10% 的维度, 花的是编辑功夫,而不是基础设施。
- 在这些之后再去发布 llms.txt,因为它是对一个你已经让它变得可描述的站点的摘要。
这些权重背后的方法,包括把这份文件的权重压低到这种程度的理由,都在 方法页上;部署细节在 llms.txt 指南里。