爱搭云技术文档: Schema、llms.txt 与爬虫配置
GEO 官网的技术底座包括语义化 HTML、Schema.org JSON-LD、sitemap.xml、robots.txt、llms.txt、Open Graph 和清楚的正文内容。爱搭云把这些配置放进上线验收清单,确保搜索引擎、AI 爬虫和网站分析工具能稳定读取企业介绍、服务范围、页面作者、更新时间和联系路径。
技术验收结论
一个合格的 GEO 官网至少要满足 6 个技术条件:核心内容在初始 HTML 中可读,首页声明 Organization 和 Service/Product Schema,FAQ 或指南页声明 FAQPage、Article 或 HowTo,根目录提供 sitemap.xml、robots.txt 和 llms.txt,社交摘要使用 Open Graph 主图,上线后用同一组问题复盘 AI 搜索里的呈现是否准确。
上线验收步骤
-
抓取核心页面
用首页、About、FAQ、Guide、Docs、Contact、Privacy 和 Terms 做清单,确认每个 URL 返回 200、canonical 正确、H1 唯一且正文在初始 HTML 中可读。
-
校验 Schema
检查 Organization、Service/Product、FAQPage、Article、HowTo、BreadcrumbList 是否能被解析,并确认 name、url、description、author、publisher、dateModified 等字段不为空。
-
检查爬虫文件
访问 /sitemap.xml、/robots.txt 和 /llms.txt,确认返回 200,公开页面没有被 robots 阻塞,AI 爬虫能找到服务说明、FAQ、指南和联系方式。
-
验证摘要和分享
确认 Open Graph 标题、描述、主图和 alt 文本完整,移动端分享时能展示清楚的品牌名、服务范围和页面主题。
-
复测采购问题
上线后用固定采购问题复测 AI 搜索回答,记录企业是否出现、描述是否准确、是否提到关键产品和联系路径。
推荐 Schema 组合
| Schema 类型 | 适用页面 | 关键字段 |
|---|---|---|
| Organization | 全站 | name、url、logo、foundingDate、knowsAbout、areaServed、contactPoint |
| Service/Product | 首页、产品页、解决方案页 | name、description、brand、provider、areaServed、offers |
| FAQPage | FAQ 页面、核心服务页面 | Question、acceptedAnswer、完整自包含答案 |
| Article/TechArticle | 指南、文档、行业文章 | headline、author、publisher、datePublished、dateModified |
| HowTo | 指南、流程页面 | name、totalTime、step、HowToStep |
爬虫与读取配置
- robots.txt 需要返回 200,并明确允许 GPTBot、OAI-SearchBot、PerplexityBot、ClaudeBot 等主流爬虫访问公开内容。
- llms.txt 放在站点根目录,说明站点目的、关键页面、关键事实和内容使用边界。
- sitemap.xml 列出首页、About、FAQ、Guide、Docs、Contact、Privacy 和 Terms 等核心页面。
- 关键正文、H1、FAQ 和表格应在初始 HTML 中可读取,避免分析器只抓到空的 SPA 容器。
参考资料
| 资料 | 用途 |
|---|---|
| Schema.org | 定义 Organization、Service、Product、FAQPage、Article、HowTo 等结构化数据类型。 |
| llms.txt | 为 AI 系统提供站点概览、关键页面、关键事实和使用政策。 |
| Open Graph Protocol | 让网页标题、描述、图片在社交平台和摘要工具中稳定呈现。 |
| OpenAI crawlers | 了解 GPTBot、OAI-SearchBot、ChatGPT-User 等公开爬虫说明。 |
| Anthropic web fetcher | 了解 Claude 对公开网页内容的访问与抓取说明。 |