使用说明

1. 选择 User-agent（爬虫类型），如 Googlebot、GPTBot、Claude-Web 等
2. 为每个爬虫添加 Allow（允许）或 Disallow（禁止）访问的路径规则
3. （可选）填写 Sitemap URL 和 Crawl-delay 延迟设置
4. 点击「生成」，将生成的内容保存为 robots.txt 并上传到网站根目录

为什么使用此工具？

Robots.txt 是控制搜索引擎和 AI 爬虫如何访问您网站的核心文件。正确配置 robots.txt 可以防止敏感页面被索引，同时确保重要内容对搜索引擎和 AI 模型可见。