输入域名后，Sitemap URL 会自动填充
快速选择模板
自定义规则
使用说明
- 选择 User-agent（爬虫类型），如 Googlebot、GPTBot、Claude-Web 等
- 为每个爬虫添加 Allow（允许）或 Disallow（禁止）访问的路径规则
- （可选）填写 Sitemap URL 和 Crawl-delay 延迟设置
- 点击「生成」，将生成的内容保存为 robots.txt 并上传到网站根目录
为什么使用此工具？
Robots.txt 是控制搜索引擎和 AI 爬虫如何访问您网站的核心文件。正确配置 robots.txt 可以防止敏感页面被索引，同时确保重要内容对搜索引擎和 AI 模型可见。