输入域名后,Sitemap URL 会自动填充
快速选择模板
自定义规则
使用说明
- 选择 User-agent(爬虫类型),如 Googlebot、GPTBot、Claude-Web 等
- 为每个爬虫添加 Allow(允许)或 Disallow(禁止)访问的路径规则
- (可选)填写 Sitemap URL 和 Crawl-delay 延迟设置
- 点击「生成」,将生成的内容保存为 robots.txt 并上传到网站根目录
为什么使用此工具?
Robots.txt 是控制搜索引擎和 AI 爬虫如何访问您网站的核心文件。正确配置 robots.txt 可以防止敏感页面被索引,同时确保重要内容对搜索引擎和 AI 模型可见。