輸入域名後,Sitemap URL 會自動填充
快速選擇範本
自訂規則
使用說明
- 選擇 User-agent(爬蟲類型),如 Googlebot、GPTBot、Claude-Web 等
- 為每個爬蟲添加 Allow(允許)或 Disallow(禁止)訪問的路徑規則
- (可選)填寫 Sitemap URL 和 Crawl-delay 延遲設定
- 點擊「生成」,將生成的內容儲存為 robots.txt 並上傳到網站根目錄
為什麼使用此工具?
Robots.txt 是控制搜尋引擎和 AI 爬蟲如何訪問您網站的核心檔案。正確配置 robots.txt 可以防止敏感頁面被索引,同時確保重要內容對搜尋引擎和 AI 模型可見。