llms.txt
llms.txt 是一种提议中的纯文本文件,用 Markdown 编写,放在网站根目录,向 AI 系统提供网站的简短介绍,以及一份经过挑选、指向最重要页面的链接列表。
为什么重要
网页是为人设计的,带有导航、脚本和版式,模型因此更难找到其中的核心内容。llms.txt 提供了一个干净的入口:这个网站是什么,权威页面在哪里。
文件里写什么
- 一个 H1 标题,写网站或公司名称。
- 一段放在引用块里的简短摘要。
- 若干组 Markdown 链接,每条配一行说明:产品、文档、价格、政策、联系方式。
- 可选:一份 llms-full.txt 文件,收录关键页面的全文。
示例:第一行写 # Acme Tools,接着是一两句话的摘要,然后是 ## Products 小节,列出五个产品页面,每个配一行说明。你可以用 llms.txt 生成器生成一份。
llms.txt 与相关文件
- robots.txt 告诉爬虫可以抓取什么。llms.txt 不授予也不拒绝访问权限,只是建议读什么。
- sitemap.xml 列出所有 URL 供索引使用。llms.txt 只列出少量经过挑选的页面,并附上说明。
局限与常见错误
- 它是社区提案,不是已获批准的标准,各家 AI 服务商的处理方式也不统一。应把它看作成本很低的良好做法,而不是一种保证。
- 列出几百条链接就失去了意义。要做筛选。
- 任由内容过时。文件中的价格和产品名称应与线上网站一致。
- 用它来代替解决抓取权限问题。如果 robots.txt 屏蔽了 AI 爬虫,llms.txt 帮不上忙。
常见问题
- AI 引擎真的会读取 llms.txt 吗?
- 各家服务商的支持情况不一,也不一定有公开说明。发布这个文件成本很低,还能让网站始终有一份干净的摘要可供读取,所以值得维护,但不应把它当作唯一的 GEO 措施。
- llms.txt 应该放在哪里?
- 放在域名的根目录,例如 https://example.com/llms.txt。