1. 什么是 llms.txt为什么突然大家都在聊最近在浏览技术社区和开源项目时频繁看到一个文件出现在项目根目录里它就是llms.txt。第一次看到这个名字时我的第一反应是这跟robots.txt有什么关系后来仔细一查才发现它确实是受到robots.txt启发而诞生的一个规范。先来解释一下概念。robots.txt是给搜索引擎爬虫看的文件告诉它们哪些页面可以抓取、哪些不能抓取。而llms.txt是给大语言模型Large Language Model简称 LLM看的文件用来告诉模型或 AI 工具这个网站或项目的核心内容在哪里哪些页面值得被读取哪些内容属于主次信息。从命名上看llms.txt是“给 LLM 看的 txt 文件”。它通常放在站点根目录例如https://example.com/llms.txt文件内容是一个纯文本清单里面列出站点内适合被大语言模型读取的 Markdown 文件链接也可以附带简单的说明文字。那么问题来了为什么需要这样一个文件目前大语言模型的训练和知识获取大部分依赖网页抓取。但对于一个结构复杂的网站来说爬虫抓取到的内容可能非常杂乱比如导航栏、页脚、侧边栏这些重复内容。动态渲染的页面直接抓取后只有空壳。内容分散在多个子页面没有集中索引。格式不统一有些是 HTML有些是 PDF有些是纯文本。llms.txt的设计目标就是把“适合 LLM 读取的内容”集中列出来让 AI 工具按图索骥。这就像你整理了一本书的目录而不是让读者把整本词典从头翻到尾。再来看一个常见的误解llms.txt并不是为了阻止 AI 抓取内容也不会像robots.txt那样控制爬虫权限。它更像是一份“内容导读”或者“站点地图”用于提升内容被正确理解的概率。它解决的不是“抓不抓”的问题而是“抓到了读不懂、抓不全”的问题。从技术社区的反应来看llms.txt的讨论热度正在上升。很多开发者开始在自己的个人博客、开源项目文档站点、知识库中加入这个文件目的是让 ChatGPT、Claude 等支持联网读取的 AI 工具在引用自己的内容时能更准确、更完整。这篇文章我将从一个实际踩坑的视角出发聊一聊llms.txt的规范格式、如何编写、如何验证、常见问题以及为什么有些时候“Nobody Fetched My llms.txt”——也就是文件已经放上去了但 AI 工具并没有读取它。2. llms.txt 解决的问题与典型应用场景要理解llms.txt的价值先要理解“AI 抓取网页”这件事的痛点。假设你有一个技术博客写了一篇关于 Spring Boot 集成的文章。文章本身写得很好但你的网站有几十个分类目录、标签页、推荐阅读、相关文章。AI 工具去读取你的文章时可能抓回来的内容包含大量噪声Spring Boot 集成教程 - 首页 - 分类 - 关于我 推荐阅读Spring Cloud 入门、MyBatis 实战、JVM 调优笔记 本文章由 xx 博客原创转载请注明出处 --- 正文内容... --- 相关文章...对大语言模型来说输入中夹带大量无关内容会显著影响它理解和总结正文的效果。更麻烦的是如果你的博客是前后端分离架构正文通过接口动态加载爬虫直接抓取到的 HTML 里根本没有正文内容AI 读到的就是一片空白。而llms.txt提供了一种更干净的方式站点作者主动提供一个纯文本文件的链接列表指向那些真正包含核心内容的页面。AI 工具读取这个清单后再按清单去抓取具体页面。常见应用场景包括2.1 个人博客与知识库如果你维护着一个技术博客或笔记仓库并且希望 AI 工具能准确引用你的文章可以在站点根目录放置llms.txt列出所有文章的 Markdown 版本链接。2.2 开源项目文档很多开源项目的文档分散在多个页面中例如快速开始、API 参考、常见问题、贡献指南。通过llms.txt为这些文档建立索引AI 在回答用户问题时能更快找到正确文档。2.3 企业知识库与产品手册企业内部知识库、产品使用手册通常包含大量结构化内容。如果希望内部 AI 助手能基于这些文档回答问题llms.txt可以帮助限定抓取范围减少无效内容干扰。2.4 在线工具与 API 文档API 文档是最适合 AI 读取的内容类型之一。通过llms.txt列出 API 参考文档AI 工具可以直接获取接口参数、返回值、错误码等关键信息。总结来说llms.txt的核心价值是让 AI 读取网站内容时获得更准确、更完整、更干净的信息源。3. llms.txt 规范与格式解析很多人以为llms.txt只是一个简单的链接列表但实际上它有一套推荐的编写规范。虽然这个规范还在演进中目前没有像robots.txt那样被所有厂商强制支持但社区已经形成了基本共识。3.1 文件位置llms.txt应该放在站点根目录https://example.com/llms.txt如果是 GitHub Pages 或静态站点放在public或static目录下构建后确保最终生成在站点根目录即可。3.2 文件格式文件编码建议使用 UTF-8内容为纯文本。每一行代表一条条目可以包含以下内容注释行以#开头用于说明。链接行包含 Markdown 格式链接或纯链接。分组标题可以用 Markdown 的二级标题格式作为分组说明。以下是官方推荐的一种基本结构# 站点名称 站点简介用一段话描述这个站点的内容和定位。 ## 文档 - [快速开始](https://example.com/docs/quickstart.md): 项目快速上手指南 - [API 参考](https://example.com/docs/api.md): 完整 API 参数说明 - [常见问题](https://example.com/docs/faq.md): 高频问题汇总 ## 博客文章 - [Spring Boot 集成 MyBatis](https://example.com/posts/spring-boot-mybatis.md): 手把手教程 - [JVM 调优实战笔记](https://example.com/posts/jvm-tuning.md): 线上调优经验3.3 关键字段说明字段/格式说明# 站点名称站点名称帮助 AI 快速识别来源 站点简介站点核心内容概述建议用 1-3 句话## 分组标题将链接按类型分组如文档、文章、教程等- [链接文字](URL): 描述具体条目链接文字是页面标题URL 是内容地址描述用于补充说明特别要注意的一点URL 最好直接指向 Markdown 文件或干净的纯文本版本而不是复杂 HTML 页面。因为 AI 读取 HTML 时仍然需要解析标签增加出错概率。3.4 一个完整的示例先来看一个虚构的个人博客示例# 张三的技术博客 专注于 Java 后端、Spring 生态、数据库优化和 DevOps 实战分享项目踩坑与工程经验。 ## 快速开始 - [博客首页](https://zhangsan.dev/index.md): 博客简介和最新文章列表 ## Java 后端 - [Spring Boot 3 入门教程](https://zhangsan.dev/posts/spring-boot-3-intro.md): 从零搭建 Spring Boot 项目 - [Spring Security 实战登录认证与权限控制](https://zhangsan.dev/posts/spring-security-login.md): 完整实现登录认证流程 - [MyBatis 多数据源配置详解](https://zhangsan.dev/posts/mybatis-multidatasource.md): 多数据源场景下的配置示例 ## 数据库 - [MySQL 索引失效场景总结](https://zhangsan.dev/posts/mysql-index-invalid.md): 实战中常见的索引失效问题 - [Oracle 分页查询优化](https://zhangsan.dev/posts/oracle-pagination.md): 大表分页性能优化方案 ## DevOps - [Docker 部署 Spring Boot 应用](https://zhangsan.dev/posts/docker-deploy-springboot.md): 完整部署步骤 - [Nginx 反向代理配置实践](https://zhangsan.dev/posts/nginx-reverse-proxy.md): 常用配置解析这个文件的好处是AI 工具只需要读取一次llms.txt就能知道这个站点有哪些核心内容并且每个内容的链接都是直接的 Markdown 文件抓取效率极高。3.5 编写时的注意事项在编写llms.txt时有几个容易踩的坑第一个坑链接指向 HTML 页面。虽然规范并不禁止但如果你的站点是动态渲染的 SPA 应用HTML 页面里可能没有正文内容。AI 抓取后获取不到有效信息。建议为每篇文章额外提供.md或.txt版本。第二个坑链接数量过多。llms.txt并不是收录全部页面的站点地图而是精选核心内容的索引。如果放了上千条链接反而会稀释重点AI 读取时也会耗费更多 tokens。第三个坑描述信息质量低。链接后面的描述不应该只是重复标题而是补充标题中没有的信息。比如- [MySQL 索引失效总结](https://example.com/mysql-index-invalid.md): 涵盖索引失效的 10 种典型场景附示例和解决方案这样 AI 能提前判断这条内容是否与用户的问题相关。4. 为什么 Nobody Fetched My llms.txt回到标题为什么我已经把llms.txt放到了站点根目录但 AI 工具根本没有读取它这个问题我和很多开发者交流过也踩过几次坑。下面从实际经验出发列出最常见的原因和排查思路。4.1 文件没有放在正确的路径llms.txt的查找路径是站点根目录不是任意路径。很多静态站点生成器如 Hugo、VuePress、Docusaurus默认会把public目录下的文件复制到根目录但如果你把llms.txt放在了src或assets目录它可能根本不会出现在最终构建产物中。排查方法curl -I https://yourdomain.com/llms.txt如果返回 404说明文件路径不对或者构建配置没有包含这个文件。4.2 文件格式不兼容有些 AI 工具对llms.txt的解析要求比较严格。比如要求每一行必须是规范的 Markdown 链接格式或者要求必须有站点名称和描述。如果你的文件里夹杂了太多 HTML 标签、非标准字符或者编码不是 UTF-8解析器可能直接跳过。建议先使用纯文本编辑器创建文件不要用 Word 等工具粘贴避免隐藏字符。4.3 AI 工具本身还没有集成llms.txt协议这是最容易被忽略的一点。llms.txt是一种新兴规范并不是所有 AI 工具都默认支持。ChatGPT、Claude 等主流工具的联网读取功能更多时候是直接抓取用户指定的 URL或者使用自己的爬虫逻辑它们并不会天然地把llms.txt作为入口。也就是说即使你的llms.txt完美无缺如果 AI 工具没有实现“先读取 llms.txt 再抓取内容”的逻辑它依旧不会主动去获取这个文件。这大概就是 “Nobody Fetched My llms.txt” 最常见的现实原因。4.4 站点缺少其他发现机制llms.txt只能作为补充入口不能完全替代其他内容发现机制。如果你希望 AI 工具能索引到你的内容至少需要保证站点地图sitemap.xml正常。页面支持标准的 HTML 抓取。正文内容不依赖 JavaScript 动态渲染。页面有清晰的文章标题和描述。建议将llms.txt与这些机制配合使用而不是只依赖它。4.5 没有主动提交或告知还有一点容易忽略你可以主动告诉 AI 工具你的llms.txt地址。比如在提问时附上链接或者在你自己的 AI 应用配置中把llms.txt地址添加为数据源。不要只是放在那里等别人发现主动推送往往更有效。5. 如何验证自己的 llms.txt 是否有效在排查问题之前先学会验证。以下是几种简单有效的验证方式。5.1 使用 curl 检查文件可访问性curl -s https://yourdomain.com/llms.txt | head -n 20正常应该输出文件内容。如果输出为空可能是文件不存在也可能是被 CDN 缓存了旧版本。5.2 检查 HTTP 状态码curl -o /dev/null -s -w %{http_code}\n https://yourdomain.com/llms.txt返回200表示可以正常访问404表示文件不存在403表示权限受限。5.3 检查响应头curl -I https://yourdomain.com/llms.txt重点看Content-Type是否合理。建议是text/plain; charsetutf-8。如果你的服务器将.txt解析为其他类型AI 工具可能无法正确读取。5.4 将文件内容粘贴给 AI 测试一个直观的验证方式把llms.txt的内容直接粘贴给 ChatGPT并让它总结这个站点有哪些核心内容。如果 AI 能快速理解站点结构说明文件写得很清晰如果 AI 感到困惑说明需要优化格式或描述。5.5 使用在线抓取工具模拟很多在线 SEO 抓取工具或者 API 调试工具可以模拟爬虫访问。建议使用在线工具请求你的llms.txt页面查看返回的原始内容确认没有乱码和格式异常。6. 在不同站点类型中配置 llms.txt既然llms.txt的价值在于为 AI 提供干净的内容索引我们就要学会在不同类型的站点中加入它。6.1 静态博客Hugo / Jekyll / VuePress以 Hugo 为例静态站点通常有一个static目录该目录下的文件会原样复制到构建后的根目录。操作步骤在项目根目录创建static/llms.txt。编写符合规范的文本内容。构建并部署。Hugo 的配置路径your-hugo-project/ ├── static/ │ └── llms.txt ├── content/ ├── themes/ └── config.toml构建后访问https://yourdomain.com/llms.txt即可。VuePress 或 VitePress 项目需要把llms.txt放在public目录下your-vuepress-project/ ├── docs/ │ └── .vuepress/ │ └── public/ │ └── llms.txt6.2 动态网站Spring Boot ThymeleafSpring Boot 项目可以将llms.txt放在src/main/resources/static/目录下。src/main/resources/static/ ├── css/ ├── js/ └── llms.txt启动项目后访问http://localhost:8080/llms.txt即可看到文件内容。如果希望动态生成llms.txt可以提供一个 Controller 接口// 文件路径src/main/java/com/example/demo/controller/LlmsTxtController.java package com.example.demo.controller; import org.springframework.http.MediaType; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; RestController public class LlmsTxtController { GetMapping(value /llms.txt, produces MediaType.TEXT_PLAIN_VALUE) public String llmsTxt() { return # Example Blog 专注于 Java 后端与数据库优化。 ## Articles - [Spring Boot 入门](https://example.com/posts/spring-boot.md): 从零搭建 - [MySQL 索引优化](https://example.com/posts/mysql-index.md): 实战经验 ; } }这种方式的好处是可以动态读取数据库或配置文件生成清单适合内容频繁更新的站点。6.3 Nginx 静态托管如果你使用 Nginx 托管静态文件只需要将llms.txt放在站点根目录server { listen 80; server_name example.com; root /var/www/example; # 确保 txt 文件能正常访问 location ~* \.txt$ { default_type text/plain; } }注意default_type text/plain;这条配置部分服务器默认将.txt识别为application/octet-stream这可能导致 AI 工具无法正确解析。6.4 GitHub PagesGitHub Pages 支持 Jekyll 构建但也支持直接上传静态文件。你可以在仓库根目录创建llms.txt如果仓库启用了 Jekyll需要在_config.yml中确认include配置不会排除.txt文件。include: - llms.txt这样构建后会生成到站点根目录。7. 常见问题与排查清单从社区反馈和实际使用来看llms.txt相关问题和解决方法可以整理为下表问题现象常见原因解决思路访问 llms.txt 返回 404文件没有放在站点根目录检查构建配置确认文件被复制到根目录访问 llms.txt 返回 403服务器权限配置问题检查静态文件访问权限确保可公开读取内容显示乱码文件编码不是 UTF-8使用 UTF-8 重新保存文件AI 工具读取不到内容工具未实现 llms.txt 协议主动提供文件地址或在应用中配置数据源AI 读到的内容不完整链接指向动态渲染的 HTML 页面为文章生成 Markdown 版本并在 llms.txt 中指向这些文件文件内容太多太杂把 llms.txt 当成了站点地图只保留核心内容链接精简描述链接失效文章路径变更定期检查链接有效性更新 llms.txt另外我还整理了一份排查顺序供你遇到问题时按步骤执行用浏览器访问https://yourdomain.com/llms.txt确认文件确实存在且内容正确。检查 HTTP 状态码确保不是 404 或 403。检查响应头Content-Type确认是text/plain; charsetutf-8。检查文件内容是否规范是否有隐藏字符。确认 AI 工具是否支持llms.txt协议如果支持看是否需要在设置中手动开启。主动将llms.txt地址提交到你的 AI 工具或数据源配置中。8. llms.txt 的最佳实践与工程建议在真正落地llms.txt时有一些工程经验值得分享。这些经验来自我在个人博客和项目文档中的实际使用总结。8.1 为每篇核心内容提供 Markdown 版本这是最重要的一条建议。无论是个人博客还是项目文档尽量为每篇核心内容提供一个独立的.md文件。这个文件可以直接放在公开目录也可以通过脚本生成。好处是避免 AI 解析 HTML 标签时的误差。文件体积更小抓取速度更快。内容更干净不受导航、侧边栏影响。如果你的站点是动态博客可以写一个简单脚本将文章内容导出为 Markdown# 文件路径tools/export_markdown.py import os def export_article_to_markdown(article_id, title, content, output_dir): 将文章导出为 Markdown 文件 os.makedirs(output_dir, exist_okTrue) file_path os.path.join(output_dir, f{article_id}.md) with open(file_path, w, encodingutf-8) as f: f.write(f# {title}\n\n) f.write(content) return file_path8.2 定期检查链接有效性llms.txt里的链接很容易随着站点改版而失效。建议定期写一个简单的检查脚本遍历文件中的链接验证是否都能正常访问。# 文件路径tools/check_llms_txt.py import requests def check_links(llms_txt_path): 检查 llms.txt 中的链接是否有效 with open(llms_txt_path, r, encodingutf-8) as f: for line in f: line line.strip() if not line or line.startswith(#) or line.startswith(): continue if http in line: url line.split(()[-1].split())[0] try: response requests.head(url, timeout5) if response.status_code ! 200: print(f[失效] {url} - {response.status_code}) except Exception as e: print(f[异常] {url} - {e}) if __name__ __main__: check_links(llms.txt)8.3 不同场景使用不同的链接粒度个人博客可以列出所有文章但企业级知识库就要有所取舍。建议按以下粒度控制站点首页1 个链接。核心文档5 到 10 个链接。教程文章10 到 30 个链接。API 文档按模块分组每组 5 个左右。始终保持文件在可读的范围内不要试图把所有网页都塞进去。8.4 与 sitemap.xml 配合llms.txt面向的是 AI 工具sitemap.xml面向的是搜索引擎爬虫。两者定位不同但可以互补。推荐做法sitemap.xml收录站点所有重要页面。llms.txt只收录适合 AI 阅读的核心页面。在robots.txt中正常允许爬虫访问llms.txt不对其做特殊限制。8.5 不要将敏感内容放入 llms.txt这一点很容易忽略。llms.txt是公开文件任何人都能访问。如果你把内部文档、测试页面、后台地址放进去等于向所有人展示这些信息。安全建议只列出对外公开的内容。内部文档不要出现在公开的llms.txt中。涉及权限控制的内容即使放进llms.txt也要确保后端有认证拦截。8.6 版本管理与变更记录如果你的站点内容更新频繁建议在llms.txt中增加最后更新时间方便 AI 工具判断缓存有效性。# Example Blog 最后更新时间2025-03-15 ## Articles ...虽然没有统一规范要求但记录更新时间是一个很好的实践。9. 更进一步自己实现一个简单的 llms.txt 抓取端除了生成llms.txt我们还可以实现一个简单的抓取端验证 AI 工具读取llms.txt的流程。这有助于你理解为什么有的工具能抓取成功有的却失败。以下是一个用 Python 实现的简易示例# 文件路径tools/simple_llms_reader.py import requests from urllib.parse import urljoin def fetch_llms_txt(base_url): 抓取站点根目录的 llms.txt llms_url urljoin(base_url, llms.txt) response requests.get(llms_url, timeout10) response.raise_for_status() return response.text def parse_links(llms_txt_content): 解析 llms.txt 中的链接列表 links [] for line in llms_txt_content.splitlines(): line line.strip() if not line or line.startswith(#) or line.startswith(): continue if line.startswith(- [) and http in line: # 格式- [标题](URL): 描述 try: title_part line.split(]()[0].replace(- [, ) url_part line.split(]()[1].split())[0] description line.split(): , 1)[1] if ): in line else links.append({ title: title_part, url: url_part, description: description }) except IndexError: continue return links if __name__ __main__: site https://example.com try: content fetch_llms_txt(site) print(f成功获取 {site}/llms.txt) print(content) print( * 40) links parse_links(content) for link in links: print(f标题{link[title]}) print(f链接{link[url]}) print(f描述{link[description]}) print(- * 20) except Exception as e: print(f抓取失败{e})这个示例模拟了 AI 工具读取llms.txt的基础流程先获取文件再解析链接最后可以按需抓取具体页面。理解这个流程后你就能明白你的llms.txt为什么可能没被读取——很可能解析器在某个环节出错了。10. 总结与建议回到最开始的问题为什么 Nobody Fetched My llms.txt最直接的原因往往是AI 工具还没有把llms.txt作为默认抓取入口。llms.txt是一个很有潜力的规范但它不是万能的也不能代替所有内容建设手段。在目前的生态下更务实的做法是在站点根目录放置规范的llms.txt作为内容索引的补充。保证主要页面支持直接的 HTML 抓取不依赖 JS 渲染。维护好sitemap.xml和站内搜索。在你自己的 AI 应用或工具中主动配置llms.txt作为数据源。定期检查链接有效性和文件格式。如果你只是“放了文件然后什么都不管”那确实可能一直等不到被读取的那一天。相反主动把llms.txt纳入内容建设流程它才能发挥价值。对于想继续深入学习的读者可以从以下几个方向延伸了解llms.txt的完整规范文档关注后续版本更新。学习如何通过无头浏览器动态渲染内容生成静态快照从而为 AI 提供干净版本。测试不同 AI 工具时对llms.txt的支持程度总结经验。尝试写一个自动化的内容导出脚本将站点文章定期同步为 Markdown 文件。最后建议动手做一个小实验在自己的博客或任意静态网站上放置llms.txt然后主动向支持联网的 AI 工具提问看看它能否正确识别你的站点内容。通过这个实验你才会真正理解这个文件的价值和局限。
1. 什么是 llms.txt为什么突然大家都在聊最近在浏览技术社区和开源项目时频繁看到一个文件出现在项目根目录里它就是llms.txt。第一次看到这个名字时我的第一反应是这跟robots.txt有什么关系后来仔细一查才发现它确实是受到robots.txt启发而诞生的一个规范。先来解释一下概念。robots.txt是给搜索引擎爬虫看的文件告诉它们哪些页面可以抓取、哪些不能抓取。而llms.txt是给大语言模型Large Language Model简称 LLM看的文件用来告诉模型或 AI 工具这个网站或项目的核心内容在哪里哪些页面值得被读取哪些内容属于主次信息。从命名上看llms.txt是“给 LLM 看的 txt 文件”。它通常放在站点根目录例如https://example.com/llms.txt文件内容是一个纯文本清单里面列出站点内适合被大语言模型读取的 Markdown 文件链接也可以附带简单的说明文字。那么问题来了为什么需要这样一个文件目前大语言模型的训练和知识获取大部分依赖网页抓取。但对于一个结构复杂的网站来说爬虫抓取到的内容可能非常杂乱比如导航栏、页脚、侧边栏这些重复内容。动态渲染的页面直接抓取后只有空壳。内容分散在多个子页面没有集中索引。格式不统一有些是 HTML有些是 PDF有些是纯文本。llms.txt的设计目标就是把“适合 LLM 读取的内容”集中列出来让 AI 工具按图索骥。这就像你整理了一本书的目录而不是让读者把整本词典从头翻到尾。再来看一个常见的误解llms.txt并不是为了阻止 AI 抓取内容也不会像robots.txt那样控制爬虫权限。它更像是一份“内容导读”或者“站点地图”用于提升内容被正确理解的概率。它解决的不是“抓不抓”的问题而是“抓到了读不懂、抓不全”的问题。从技术社区的反应来看llms.txt的讨论热度正在上升。很多开发者开始在自己的个人博客、开源项目文档站点、知识库中加入这个文件目的是让 ChatGPT、Claude 等支持联网读取的 AI 工具在引用自己的内容时能更准确、更完整。这篇文章我将从一个实际踩坑的视角出发聊一聊llms.txt的规范格式、如何编写、如何验证、常见问题以及为什么有些时候“Nobody Fetched My llms.txt”——也就是文件已经放上去了但 AI 工具并没有读取它。2. llms.txt 解决的问题与典型应用场景要理解llms.txt的价值先要理解“AI 抓取网页”这件事的痛点。假设你有一个技术博客写了一篇关于 Spring Boot 集成的文章。文章本身写得很好但你的网站有几十个分类目录、标签页、推荐阅读、相关文章。AI 工具去读取你的文章时可能抓回来的内容包含大量噪声Spring Boot 集成教程 - 首页 - 分类 - 关于我 推荐阅读Spring Cloud 入门、MyBatis 实战、JVM 调优笔记 本文章由 xx 博客原创转载请注明出处 --- 正文内容... --- 相关文章...对大语言模型来说输入中夹带大量无关内容会显著影响它理解和总结正文的效果。更麻烦的是如果你的博客是前后端分离架构正文通过接口动态加载爬虫直接抓取到的 HTML 里根本没有正文内容AI 读到的就是一片空白。而llms.txt提供了一种更干净的方式站点作者主动提供一个纯文本文件的链接列表指向那些真正包含核心内容的页面。AI 工具读取这个清单后再按清单去抓取具体页面。常见应用场景包括2.1 个人博客与知识库如果你维护着一个技术博客或笔记仓库并且希望 AI 工具能准确引用你的文章可以在站点根目录放置llms.txt列出所有文章的 Markdown 版本链接。2.2 开源项目文档很多开源项目的文档分散在多个页面中例如快速开始、API 参考、常见问题、贡献指南。通过llms.txt为这些文档建立索引AI 在回答用户问题时能更快找到正确文档。2.3 企业知识库与产品手册企业内部知识库、产品使用手册通常包含大量结构化内容。如果希望内部 AI 助手能基于这些文档回答问题llms.txt可以帮助限定抓取范围减少无效内容干扰。2.4 在线工具与 API 文档API 文档是最适合 AI 读取的内容类型之一。通过llms.txt列出 API 参考文档AI 工具可以直接获取接口参数、返回值、错误码等关键信息。总结来说llms.txt的核心价值是让 AI 读取网站内容时获得更准确、更完整、更干净的信息源。3. llms.txt 规范与格式解析很多人以为llms.txt只是一个简单的链接列表但实际上它有一套推荐的编写规范。虽然这个规范还在演进中目前没有像robots.txt那样被所有厂商强制支持但社区已经形成了基本共识。3.1 文件位置llms.txt应该放在站点根目录https://example.com/llms.txt如果是 GitHub Pages 或静态站点放在public或static目录下构建后确保最终生成在站点根目录即可。3.2 文件格式文件编码建议使用 UTF-8内容为纯文本。每一行代表一条条目可以包含以下内容注释行以#开头用于说明。链接行包含 Markdown 格式链接或纯链接。分组标题可以用 Markdown 的二级标题格式作为分组说明。以下是官方推荐的一种基本结构# 站点名称 站点简介用一段话描述这个站点的内容和定位。 ## 文档 - [快速开始](https://example.com/docs/quickstart.md): 项目快速上手指南 - [API 参考](https://example.com/docs/api.md): 完整 API 参数说明 - [常见问题](https://example.com/docs/faq.md): 高频问题汇总 ## 博客文章 - [Spring Boot 集成 MyBatis](https://example.com/posts/spring-boot-mybatis.md): 手把手教程 - [JVM 调优实战笔记](https://example.com/posts/jvm-tuning.md): 线上调优经验3.3 关键字段说明字段/格式说明# 站点名称站点名称帮助 AI 快速识别来源 站点简介站点核心内容概述建议用 1-3 句话## 分组标题将链接按类型分组如文档、文章、教程等- [链接文字](URL): 描述具体条目链接文字是页面标题URL 是内容地址描述用于补充说明特别要注意的一点URL 最好直接指向 Markdown 文件或干净的纯文本版本而不是复杂 HTML 页面。因为 AI 读取 HTML 时仍然需要解析标签增加出错概率。3.4 一个完整的示例先来看一个虚构的个人博客示例# 张三的技术博客 专注于 Java 后端、Spring 生态、数据库优化和 DevOps 实战分享项目踩坑与工程经验。 ## 快速开始 - [博客首页](https://zhangsan.dev/index.md): 博客简介和最新文章列表 ## Java 后端 - [Spring Boot 3 入门教程](https://zhangsan.dev/posts/spring-boot-3-intro.md): 从零搭建 Spring Boot 项目 - [Spring Security 实战登录认证与权限控制](https://zhangsan.dev/posts/spring-security-login.md): 完整实现登录认证流程 - [MyBatis 多数据源配置详解](https://zhangsan.dev/posts/mybatis-multidatasource.md): 多数据源场景下的配置示例 ## 数据库 - [MySQL 索引失效场景总结](https://zhangsan.dev/posts/mysql-index-invalid.md): 实战中常见的索引失效问题 - [Oracle 分页查询优化](https://zhangsan.dev/posts/oracle-pagination.md): 大表分页性能优化方案 ## DevOps - [Docker 部署 Spring Boot 应用](https://zhangsan.dev/posts/docker-deploy-springboot.md): 完整部署步骤 - [Nginx 反向代理配置实践](https://zhangsan.dev/posts/nginx-reverse-proxy.md): 常用配置解析这个文件的好处是AI 工具只需要读取一次llms.txt就能知道这个站点有哪些核心内容并且每个内容的链接都是直接的 Markdown 文件抓取效率极高。3.5 编写时的注意事项在编写llms.txt时有几个容易踩的坑第一个坑链接指向 HTML 页面。虽然规范并不禁止但如果你的站点是动态渲染的 SPA 应用HTML 页面里可能没有正文内容。AI 抓取后获取不到有效信息。建议为每篇文章额外提供.md或.txt版本。第二个坑链接数量过多。llms.txt并不是收录全部页面的站点地图而是精选核心内容的索引。如果放了上千条链接反而会稀释重点AI 读取时也会耗费更多 tokens。第三个坑描述信息质量低。链接后面的描述不应该只是重复标题而是补充标题中没有的信息。比如- [MySQL 索引失效总结](https://example.com/mysql-index-invalid.md): 涵盖索引失效的 10 种典型场景附示例和解决方案这样 AI 能提前判断这条内容是否与用户的问题相关。4. 为什么 Nobody Fetched My llms.txt回到标题为什么我已经把llms.txt放到了站点根目录但 AI 工具根本没有读取它这个问题我和很多开发者交流过也踩过几次坑。下面从实际经验出发列出最常见的原因和排查思路。4.1 文件没有放在正确的路径llms.txt的查找路径是站点根目录不是任意路径。很多静态站点生成器如 Hugo、VuePress、Docusaurus默认会把public目录下的文件复制到根目录但如果你把llms.txt放在了src或assets目录它可能根本不会出现在最终构建产物中。排查方法curl -I https://yourdomain.com/llms.txt如果返回 404说明文件路径不对或者构建配置没有包含这个文件。4.2 文件格式不兼容有些 AI 工具对llms.txt的解析要求比较严格。比如要求每一行必须是规范的 Markdown 链接格式或者要求必须有站点名称和描述。如果你的文件里夹杂了太多 HTML 标签、非标准字符或者编码不是 UTF-8解析器可能直接跳过。建议先使用纯文本编辑器创建文件不要用 Word 等工具粘贴避免隐藏字符。4.3 AI 工具本身还没有集成llms.txt协议这是最容易被忽略的一点。llms.txt是一种新兴规范并不是所有 AI 工具都默认支持。ChatGPT、Claude 等主流工具的联网读取功能更多时候是直接抓取用户指定的 URL或者使用自己的爬虫逻辑它们并不会天然地把llms.txt作为入口。也就是说即使你的llms.txt完美无缺如果 AI 工具没有实现“先读取 llms.txt 再抓取内容”的逻辑它依旧不会主动去获取这个文件。这大概就是 “Nobody Fetched My llms.txt” 最常见的现实原因。4.4 站点缺少其他发现机制llms.txt只能作为补充入口不能完全替代其他内容发现机制。如果你希望 AI 工具能索引到你的内容至少需要保证站点地图sitemap.xml正常。页面支持标准的 HTML 抓取。正文内容不依赖 JavaScript 动态渲染。页面有清晰的文章标题和描述。建议将llms.txt与这些机制配合使用而不是只依赖它。4.5 没有主动提交或告知还有一点容易忽略你可以主动告诉 AI 工具你的llms.txt地址。比如在提问时附上链接或者在你自己的 AI 应用配置中把llms.txt地址添加为数据源。不要只是放在那里等别人发现主动推送往往更有效。5. 如何验证自己的 llms.txt 是否有效在排查问题之前先学会验证。以下是几种简单有效的验证方式。5.1 使用 curl 检查文件可访问性curl -s https://yourdomain.com/llms.txt | head -n 20正常应该输出文件内容。如果输出为空可能是文件不存在也可能是被 CDN 缓存了旧版本。5.2 检查 HTTP 状态码curl -o /dev/null -s -w %{http_code}\n https://yourdomain.com/llms.txt返回200表示可以正常访问404表示文件不存在403表示权限受限。5.3 检查响应头curl -I https://yourdomain.com/llms.txt重点看Content-Type是否合理。建议是text/plain; charsetutf-8。如果你的服务器将.txt解析为其他类型AI 工具可能无法正确读取。5.4 将文件内容粘贴给 AI 测试一个直观的验证方式把llms.txt的内容直接粘贴给 ChatGPT并让它总结这个站点有哪些核心内容。如果 AI 能快速理解站点结构说明文件写得很清晰如果 AI 感到困惑说明需要优化格式或描述。5.5 使用在线抓取工具模拟很多在线 SEO 抓取工具或者 API 调试工具可以模拟爬虫访问。建议使用在线工具请求你的llms.txt页面查看返回的原始内容确认没有乱码和格式异常。6. 在不同站点类型中配置 llms.txt既然llms.txt的价值在于为 AI 提供干净的内容索引我们就要学会在不同类型的站点中加入它。6.1 静态博客Hugo / Jekyll / VuePress以 Hugo 为例静态站点通常有一个static目录该目录下的文件会原样复制到构建后的根目录。操作步骤在项目根目录创建static/llms.txt。编写符合规范的文本内容。构建并部署。Hugo 的配置路径your-hugo-project/ ├── static/ │ └── llms.txt ├── content/ ├── themes/ └── config.toml构建后访问https://yourdomain.com/llms.txt即可。VuePress 或 VitePress 项目需要把llms.txt放在public目录下your-vuepress-project/ ├── docs/ │ └── .vuepress/ │ └── public/ │ └── llms.txt6.2 动态网站Spring Boot ThymeleafSpring Boot 项目可以将llms.txt放在src/main/resources/static/目录下。src/main/resources/static/ ├── css/ ├── js/ └── llms.txt启动项目后访问http://localhost:8080/llms.txt即可看到文件内容。如果希望动态生成llms.txt可以提供一个 Controller 接口// 文件路径src/main/java/com/example/demo/controller/LlmsTxtController.java package com.example.demo.controller; import org.springframework.http.MediaType; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; RestController public class LlmsTxtController { GetMapping(value /llms.txt, produces MediaType.TEXT_PLAIN_VALUE) public String llmsTxt() { return # Example Blog 专注于 Java 后端与数据库优化。 ## Articles - [Spring Boot 入门](https://example.com/posts/spring-boot.md): 从零搭建 - [MySQL 索引优化](https://example.com/posts/mysql-index.md): 实战经验 ; } }这种方式的好处是可以动态读取数据库或配置文件生成清单适合内容频繁更新的站点。6.3 Nginx 静态托管如果你使用 Nginx 托管静态文件只需要将llms.txt放在站点根目录server { listen 80; server_name example.com; root /var/www/example; # 确保 txt 文件能正常访问 location ~* \.txt$ { default_type text/plain; } }注意default_type text/plain;这条配置部分服务器默认将.txt识别为application/octet-stream这可能导致 AI 工具无法正确解析。6.4 GitHub PagesGitHub Pages 支持 Jekyll 构建但也支持直接上传静态文件。你可以在仓库根目录创建llms.txt如果仓库启用了 Jekyll需要在_config.yml中确认include配置不会排除.txt文件。include: - llms.txt这样构建后会生成到站点根目录。7. 常见问题与排查清单从社区反馈和实际使用来看llms.txt相关问题和解决方法可以整理为下表问题现象常见原因解决思路访问 llms.txt 返回 404文件没有放在站点根目录检查构建配置确认文件被复制到根目录访问 llms.txt 返回 403服务器权限配置问题检查静态文件访问权限确保可公开读取内容显示乱码文件编码不是 UTF-8使用 UTF-8 重新保存文件AI 工具读取不到内容工具未实现 llms.txt 协议主动提供文件地址或在应用中配置数据源AI 读到的内容不完整链接指向动态渲染的 HTML 页面为文章生成 Markdown 版本并在 llms.txt 中指向这些文件文件内容太多太杂把 llms.txt 当成了站点地图只保留核心内容链接精简描述链接失效文章路径变更定期检查链接有效性更新 llms.txt另外我还整理了一份排查顺序供你遇到问题时按步骤执行用浏览器访问https://yourdomain.com/llms.txt确认文件确实存在且内容正确。检查 HTTP 状态码确保不是 404 或 403。检查响应头Content-Type确认是text/plain; charsetutf-8。检查文件内容是否规范是否有隐藏字符。确认 AI 工具是否支持llms.txt协议如果支持看是否需要在设置中手动开启。主动将llms.txt地址提交到你的 AI 工具或数据源配置中。8. llms.txt 的最佳实践与工程建议在真正落地llms.txt时有一些工程经验值得分享。这些经验来自我在个人博客和项目文档中的实际使用总结。8.1 为每篇核心内容提供 Markdown 版本这是最重要的一条建议。无论是个人博客还是项目文档尽量为每篇核心内容提供一个独立的.md文件。这个文件可以直接放在公开目录也可以通过脚本生成。好处是避免 AI 解析 HTML 标签时的误差。文件体积更小抓取速度更快。内容更干净不受导航、侧边栏影响。如果你的站点是动态博客可以写一个简单脚本将文章内容导出为 Markdown# 文件路径tools/export_markdown.py import os def export_article_to_markdown(article_id, title, content, output_dir): 将文章导出为 Markdown 文件 os.makedirs(output_dir, exist_okTrue) file_path os.path.join(output_dir, f{article_id}.md) with open(file_path, w, encodingutf-8) as f: f.write(f# {title}\n\n) f.write(content) return file_path8.2 定期检查链接有效性llms.txt里的链接很容易随着站点改版而失效。建议定期写一个简单的检查脚本遍历文件中的链接验证是否都能正常访问。# 文件路径tools/check_llms_txt.py import requests def check_links(llms_txt_path): 检查 llms.txt 中的链接是否有效 with open(llms_txt_path, r, encodingutf-8) as f: for line in f: line line.strip() if not line or line.startswith(#) or line.startswith(): continue if http in line: url line.split(()[-1].split())[0] try: response requests.head(url, timeout5) if response.status_code ! 200: print(f[失效] {url} - {response.status_code}) except Exception as e: print(f[异常] {url} - {e}) if __name__ __main__: check_links(llms.txt)8.3 不同场景使用不同的链接粒度个人博客可以列出所有文章但企业级知识库就要有所取舍。建议按以下粒度控制站点首页1 个链接。核心文档5 到 10 个链接。教程文章10 到 30 个链接。API 文档按模块分组每组 5 个左右。始终保持文件在可读的范围内不要试图把所有网页都塞进去。8.4 与 sitemap.xml 配合llms.txt面向的是 AI 工具sitemap.xml面向的是搜索引擎爬虫。两者定位不同但可以互补。推荐做法sitemap.xml收录站点所有重要页面。llms.txt只收录适合 AI 阅读的核心页面。在robots.txt中正常允许爬虫访问llms.txt不对其做特殊限制。8.5 不要将敏感内容放入 llms.txt这一点很容易忽略。llms.txt是公开文件任何人都能访问。如果你把内部文档、测试页面、后台地址放进去等于向所有人展示这些信息。安全建议只列出对外公开的内容。内部文档不要出现在公开的llms.txt中。涉及权限控制的内容即使放进llms.txt也要确保后端有认证拦截。8.6 版本管理与变更记录如果你的站点内容更新频繁建议在llms.txt中增加最后更新时间方便 AI 工具判断缓存有效性。# Example Blog 最后更新时间2025-03-15 ## Articles ...虽然没有统一规范要求但记录更新时间是一个很好的实践。9. 更进一步自己实现一个简单的 llms.txt 抓取端除了生成llms.txt我们还可以实现一个简单的抓取端验证 AI 工具读取llms.txt的流程。这有助于你理解为什么有的工具能抓取成功有的却失败。以下是一个用 Python 实现的简易示例# 文件路径tools/simple_llms_reader.py import requests from urllib.parse import urljoin def fetch_llms_txt(base_url): 抓取站点根目录的 llms.txt llms_url urljoin(base_url, llms.txt) response requests.get(llms_url, timeout10) response.raise_for_status() return response.text def parse_links(llms_txt_content): 解析 llms.txt 中的链接列表 links [] for line in llms_txt_content.splitlines(): line line.strip() if not line or line.startswith(#) or line.startswith(): continue if line.startswith(- [) and http in line: # 格式- [标题](URL): 描述 try: title_part line.split(]()[0].replace(- [, ) url_part line.split(]()[1].split())[0] description line.split(): , 1)[1] if ): in line else links.append({ title: title_part, url: url_part, description: description }) except IndexError: continue return links if __name__ __main__: site https://example.com try: content fetch_llms_txt(site) print(f成功获取 {site}/llms.txt) print(content) print( * 40) links parse_links(content) for link in links: print(f标题{link[title]}) print(f链接{link[url]}) print(f描述{link[description]}) print(- * 20) except Exception as e: print(f抓取失败{e})这个示例模拟了 AI 工具读取llms.txt的基础流程先获取文件再解析链接最后可以按需抓取具体页面。理解这个流程后你就能明白你的llms.txt为什么可能没被读取——很可能解析器在某个环节出错了。10. 总结与建议回到最开始的问题为什么 Nobody Fetched My llms.txt最直接的原因往往是AI 工具还没有把llms.txt作为默认抓取入口。llms.txt是一个很有潜力的规范但它不是万能的也不能代替所有内容建设手段。在目前的生态下更务实的做法是在站点根目录放置规范的llms.txt作为内容索引的补充。保证主要页面支持直接的 HTML 抓取不依赖 JS 渲染。维护好sitemap.xml和站内搜索。在你自己的 AI 应用或工具中主动配置llms.txt作为数据源。定期检查链接有效性和文件格式。如果你只是“放了文件然后什么都不管”那确实可能一直等不到被读取的那一天。相反主动把llms.txt纳入内容建设流程它才能发挥价值。对于想继续深入学习的读者可以从以下几个方向延伸了解llms.txt的完整规范文档关注后续版本更新。学习如何通过无头浏览器动态渲染内容生成静态快照从而为 AI 提供干净版本。测试不同 AI 工具时对llms.txt的支持程度总结经验。尝试写一个自动化的内容导出脚本将站点文章定期同步为 Markdown 文件。最后建议动手做一个小实验在自己的博客或任意静态网站上放置llms.txt然后主动向支持联网的 AI 工具提问看看它能否正确识别你的站点内容。通过这个实验你才会真正理解这个文件的价值和局限。
