XOOER GEO
GEO 術語表

AI 爬蟲

AI 爬蟲是由 AI 公司營運的自動化程式,用來抓取網頁,目的可能是為模型收集訓練資料,也可能是在回答使用者問題時檢索內容。

為什麼重要

如果 AI 爬蟲讀不到某個頁面,對應的產品就無法引述或引用它。許多網站因為一條防火牆規則,或 robots.txt 中一條全面封鎖的設定,無意間擋掉了這些機器人,事後才納悶為什麼自己沒有出現在 AI 答案裡。

主要的爬蟲

User agent營運者用途
GPTBotOpenAI收集可能用於模型訓練的內容
OAI-SearchBotOpenAI為 ChatGPT 中的搜尋結果建立頁面索引
ChatGPT-UserOpenAI在使用者的請求需要時抓取頁面
ClaudeBotAnthropic為 Claude 收集內容
PerplexityBotPerplexity為 Perplexity 的答案建立頁面索引
Google-ExtendedGooglerobots.txt 中的一個控制代稱,用來管理內容是否可供 Gemini 使用;並不是獨立的機器人
Bytespider字節跳動為包括豆包在內的字節跳動產品收集內容

營運者會陸續新增爬蟲或更改名稱。最新清單請查閱各家業者的文件。

如何控制存取

規則寫在 robots.txt 中,依 user agent 分別設定。範例:User-agent: GPTBot 後面接 Allow: /,表示允許該爬蟲存取整個網站;Disallow: / 則是封鎖。訓練用與搜尋用的爬蟲可以分開處理,因此網站可以拒絕內容被用於訓練,同時仍可供即時回答使用。robots.txt 產生器可以產生這些規則。

常見錯誤

  • 在防火牆或 CDN 層封鎖所有不認識的機器人,這會蓋過 robots.txt 的設定。
  • 允許爬蟲存取,內容卻只透過用戶端 JavaScript 呈現,而許多爬蟲並不執行 JavaScript。
  • 以為 robots.txt 具有強制力。它只是一項請求;守規矩的爬蟲會遵守,其他的則未必。
  • 封鎖訓練用爬蟲,卻期待在同一家業者的產品中可見度不受影響。

常見問題

我應該允許 AI 爬蟲嗎?
如果你希望出現在 AI 答案中,搜尋用以及因使用者請求而抓取的爬蟲就需要能夠存取。是否允許訓練用爬蟲,則是關於內容可以如何被使用的商業決策。
怎麼知道有哪些 AI 爬蟲造訪我的網站?
在伺服器或 CDN 的記錄中查找它們的 user-agent 字串。某個爬蟲定期來訪,就表示它讀得到你的頁面。

看看 AI 引擎如何描述你的品牌

免費檢測主流 AI 模型,取得你的 GEO Score。

取得我的免費報告