زاحف الذكاء الاصطناعي (AI Crawler)
زاحف الذكاء الاصطناعي برنامج آلي تشغّله شركة ذكاء اصطناعي ويجلب صفحات الويب، إما لجمع بيانات تدريب لنموذج، وإما لاسترجاع محتوى عند الإجابة عن سؤال مستخدم.
لماذا هو مهم
إذا لم يستطع زاحف الذكاء الاصطناعي قراءة صفحة، فلن يتمكن المنتج المرتبط به من اقتباسها أو الاستشهاد بها. كثير من المواقع تحجب هذه الروبوتات دون قصد، بقاعدة في جدار الحماية أو بسطر عام في robots.txt، ثم تتساءل عن سبب غيابها عن إجابات الذكاء الاصطناعي.
أهم الزواحف
| وكيل المستخدم (User agent) | الجهة المشغّلة | الغرض |
|---|---|---|
| GPTBot | OpenAI | يجمع محتوى قد يُستخدم في تدريب النماذج |
| OAI-SearchBot | OpenAI | يفهرس الصفحات لنتائج البحث في ChatGPT |
| ChatGPT-User | OpenAI | يجلب صفحة عندما يتطلب طلب المستخدم ذلك |
| ClaudeBot | Anthropic | يجمع المحتوى لصالح Claude |
| PerplexityBot | Perplexity | يفهرس الصفحات لإجابات Perplexity |
| Google-Extended | رمز في robots.txt يتحكم في استخدام المحتوى لصالح Gemini؛ وليس روبوتًا مستقلًّا | |
| Bytespider | ByteDance | يجمع المحتوى لمنتجات ByteDance ومنها Doubao |
تضيف الجهات المشغّلة زواحف جديدة وتغيّر أسماءها مع الوقت. راجع وثائق كل مزوّد لمعرفة القائمة الحالية.
كيف تتحكم في الوصول
تُكتب القواعد في robots.txt لكل وكيل مستخدم على حدة. مثال: User-agent: GPTBot متبوعًا بـ Allow: / يسمح للزاحف بالوصول إلى الموقع كله؛ وDisallow: / يحجبه. يمكن التعامل مع زواحف التدريب وزواحف البحث بشكل مختلف، فيستطيع الموقع رفض استخدام محتواه في التدريب مع بقائه متاحًا للإجابات المباشرة. ويبني مولّد robots.txt هذه القواعد.
أخطاء شائعة
- حجب كل روبوت غير مألوف على مستوى جدار الحماية أو CDN، وهذا يتجاوز ما في robots.txt.
- السماح للزواحف مع تقديم المحتوى عبر JavaScript من جهة المتصفح فقط، وكثير منها لا ينفّذه.
- افتراض أن robots.txt وسيلة إلزام. هو طلب؛ الزواحف الملتزمة تحترمه، وغيرها قد لا يفعل.
- حجب زواحف التدريب وتوقّع ألا يتأثر الظهور في منتجات المزوّد نفسه.
الأسئلة الشائعة
- هل ينبغي أن أسمح لزواحف الذكاء الاصطناعي؟
- إذا أردت الظهور في إجابات الذكاء الاصطناعي فلا بد أن تصل زواحف البحث وزواحف طلبات المستخدمين إلى موقعك. أما السماح لزواحف التدريب فقرار تجاري يتعلق بكيفية استخدام محتواك.
- كيف أعرف أي زواحف الذكاء الاصطناعي تزور موقعي؟
- ابحث في سجلات الخادم أو CDN عن سلاسل وكيل المستخدم الخاصة بها. الزيارات المنتظمة من زاحف تؤكد أنه يستطيع الوصول إلى صفحاتك.
اعرف كيف تصف محركات الذكاء الاصطناعي علامتك التجارية
أجرِ تدقيقًا مجانيًّا عبر نماذج الذكاء الاصطناعي الرئيسية واحصل على GEO Score الخاص بك.
احصل على تقريري المجاني