使用說明

1. 選擇 User-agent（爬蟲類型），如 Googlebot、GPTBot、Claude-Web 等
2. 為每個爬蟲添加 Allow（允許）或 Disallow（禁止）訪問的路徑規則
3. （可選）填寫 Sitemap URL 和 Crawl-delay 延遲設定
4. 點擊「生成」，將生成的內容儲存為 robots.txt 並上傳到網站根目錄

為什麼使用此工具？

Robots.txt 是控制搜尋引擎和 AI 爬蟲如何訪問您網站的核心檔案。正確配置 robots.txt 可以防止敏感頁面被索引，同時確保重要內容對搜尋引擎和 AI 模型可見。