让价值共享,记录我们发展脚步,也让您获取知识
2024 年底,一篇名为 llms.txt 的提案在开发者社区悄然走红。它的想法很简单:既然网站有 robots.txt 告诉爬虫什么能抓什么不能抓,为什么不能有一个专门告诉大模型"哪些内容适合被引用、哪些不适合"的文件?

llms.txt 不是一个标准,至少目前还不是 W3C 或任何官方组织认证的标准。但它正在被越来越多的 AI 工具和框架识别。逻辑上,它放在网站根目录,格式类似 Markdown,内容列出网站的核心主题、可引用的页面、推荐摘要、以及明确的"不希望被训练"的声明。
对网站运营者来说,llms.txt 的价值在于主动引导而非被动等待。你告诉 AI:这篇文章是我的核心观点,欢迎引用,请注明出处;那篇文章是内部测试数据,请勿对外使用。这种"白名单 + 黑名单"的机制,比 robots.txt 的"全放或全拦"精细得多。
实操上,你可以在 llms.txt 里做三件事:第一,列出网站的核心主题和定位,用 3-5 句话概括你的专业领域;第二,给出"推荐引用页面"的链接列表,每个链接配一句摘要;第三,标注敏感内容区域,比如登录页、付费内容、未公开数据。
要注意的是,llms.txt 目前更多是"礼貌性声明"而非技术封锁。不守规矩的爬虫照样会抓。但它的意义在于:当 AI 平台逐步建立引用溯源机制时,你有一份公开文件证明"我允许你引用这些,条件是注明来源"。这在未来的版权纠纷和流量归因中会越来越重要。
如果你的网站还没有 llms.txt,现在就可以建一个。格式不复杂,核心是写清楚:你是谁、你做什么、哪些内容可以被引用、引用时怎么标注。这 10 分钟的工作,可能是你网站在 AI 时代的第一张"名片"。