AI 爬蟲
AI 爬蟲是由 AI 公司營運的自動化程式,用來抓取網頁,目的可能是為模型收集訓練資料,也可能是在回答使用者問題時檢索內容。
為什麼重要
如果 AI 爬蟲讀不到某個頁面,對應的產品就無法引述或引用它。許多網站因為一條防火牆規則,或 robots.txt 中一條全面封鎖的設定,無意間擋掉了這些機器人,事後才納悶為什麼自己沒有出現在 AI 答案裡。
主要的爬蟲
| User agent | 營運者 | 用途 |
|---|---|---|
| GPTBot | OpenAI | 收集可能用於模型訓練的內容 |
| OAI-SearchBot | OpenAI | 為 ChatGPT 中的搜尋結果建立頁面索引 |
| ChatGPT-User | OpenAI | 在使用者的請求需要時抓取頁面 |
| ClaudeBot | Anthropic | 為 Claude 收集內容 |
| PerplexityBot | Perplexity | 為 Perplexity 的答案建立頁面索引 |
| Google-Extended | robots.txt 中的一個控制代稱,用來管理內容是否可供 Gemini 使用;並不是獨立的機器人 | |
| Bytespider | 字節跳動 | 為包括豆包在內的字節跳動產品收集內容 |
營運者會陸續新增爬蟲或更改名稱。最新清單請查閱各家業者的文件。
如何控制存取
規則寫在 robots.txt 中,依 user agent 分別設定。範例:User-agent: GPTBot 後面接 Allow: /,表示允許該爬蟲存取整個網站;Disallow: / 則是封鎖。訓練用與搜尋用的爬蟲可以分開處理,因此網站可以拒絕內容被用於訓練,同時仍可供即時回答使用。robots.txt 產生器可以產生這些規則。
常見錯誤
- 在防火牆或 CDN 層封鎖所有不認識的機器人,這會蓋過 robots.txt 的設定。
- 允許爬蟲存取,內容卻只透過用戶端 JavaScript 呈現,而許多爬蟲並不執行 JavaScript。
- 以為 robots.txt 具有強制力。它只是一項請求;守規矩的爬蟲會遵守,其他的則未必。
- 封鎖訓練用爬蟲,卻期待在同一家業者的產品中可見度不受影響。
常見問題
- 我應該允許 AI 爬蟲嗎?
- 如果你希望出現在 AI 答案中,搜尋用以及因使用者請求而抓取的爬蟲就需要能夠存取。是否允許訓練用爬蟲,則是關於內容可以如何被使用的商業決策。
- 怎麼知道有哪些 AI 爬蟲造訪我的網站?
- 在伺服器或 CDN 的記錄中查找它們的 user-agent 字串。某個爬蟲定期來訪,就表示它讀得到你的頁面。