AI 爬虫
AI 爬虫是由 AI 公司运行的自动化程序,用来抓取网页,目的或是为模型收集训练数据,或是在回答用户问题时检索内容。
为什么重要
如果 AI 爬虫读不到某个页面,对应的产品就无法引述或引用它。不少网站因为一条防火墙规则或一条一刀切的 robots.txt 规则而误拦了这些爬虫,之后又不明白自己为什么没有出现在 AI 回答里。
主要爬虫
| User agent | 运营方 | 用途 |
|---|---|---|
| GPTBot | OpenAI | 收集可能用于模型训练的内容 |
| OAI-SearchBot | OpenAI | 为 ChatGPT 中的搜索结果建立页面索引 |
| ChatGPT-User | OpenAI | 在用户的请求需要时抓取某个页面 |
| ClaudeBot | Anthropic | 为 Claude 收集内容 |
| PerplexityBot | Perplexity | 为 Perplexity 的回答建立页面索引 |
| Google-Extended | robots.txt 中的一个标识,用来控制内容是否可用于 Gemini;它不是一个独立的爬虫 | |
| Bytespider | 字节跳动 | 为包括豆包在内的字节跳动产品收集内容 |
运营方会不时新增爬虫或更改名称。最新列表请查阅各家服务商的文档。
如何控制访问
规则写在 robots.txt 中,按 user agent 分别设置。示例:User-agent: GPTBot 后面跟 Allow: / 表示允许该爬虫访问全站;Disallow: / 则表示屏蔽。训练类爬虫和搜索类爬虫可以区别对待,所以网站可以拒绝内容被用于训练,同时仍可用于实时回答。这些规则可以用 robots.txt 生成器生成。
常见错误
- 在防火墙或 CDN 层拦截所有不认识的爬虫,这会让 robots.txt 的设置失效。
- 放行了爬虫,内容却只通过客户端 JavaScript 输出,而很多爬虫并不执行 JavaScript。
- 以为 robots.txt 有强制力。它只是一种请求;守规矩的爬虫会遵守,其他的未必。
- 屏蔽了训练类爬虫,却以为不会影响品牌在同一家服务商产品中的可见度。
常见问题
- 我应该允许 AI 爬虫访问吗?
- 如果希望出现在 AI 回答中,就需要让搜索类爬虫和响应用户请求的爬虫能够访问。是否允许训练类爬虫,则是一个关于内容可以被怎样使用的商业决定。
- 怎么知道有哪些 AI 爬虫访问了我的网站?
- 在服务器或 CDN 日志中查找它们的 user-agent 字符串。某个爬虫有规律地来访,就说明它能访问到你的页面。