輸入域名後，Sitemap URL 會自動填充
快速選擇範本
自訂規則
使用說明
- 選擇 User-agent（爬蟲類型），如 Googlebot、GPTBot、Claude-Web 等
- 為每個爬蟲添加 Allow（允許）或 Disallow（禁止）訪問的路徑規則
- （可選）填寫 Sitemap URL 和 Crawl-delay 延遲設定
- 點擊「生成」，將生成的內容儲存為 robots.txt 並上傳到網站根目錄
為什麼使用此工具？
Robots.txt 是控制搜尋引擎和 AI 爬蟲如何訪問您網站的核心檔案。正確配置 robots.txt 可以防止敏感頁面被索引，同時確保重要內容對搜尋引擎和 AI 模型可見。