مولد Robots.txt
أنشئ ملف robots.txt لإدارة وصول محركات البحث وبوتات الذكاء الاصطناعي إلى موقعك. قم بتكوين قواعد user-agent وتأخير الزحف وإشارات خريطة الموقع.
سيتم ملء رابط خريطة الموقع تلقائياً بناءً على نطاقك
نماذج سريعة
قواعد مخصصة
طريقة الاستخدام
- حدد User-agent (نوع الزاحف)، مثل Googlebot أو GPTBot أو Claude-Web، إلخ.
- أضف قواعد مسارات السماح (Allow) أو الحظر (Disallow) لكل زاحف.
- (اختياري) أدخل رابط خريطة الموقع وإعدادات تأخير الزحف (Crawl-delay).
- اضغط على 'توليد'، واحفظ النتيجة كملف robots.txt ثم ارفعه إلى المجلد الرئيسي لموقعك.
لماذا تستخدم هذه الأداة؟
يعد robots.txt الملف الأساسي للتحكم في كيفية وصول محركات البحث وزواحف الذكاء الاصطناعي إلى موقعك. يمنع التكوين الصحيح فهرسة الصفحات الحساسة مع ضمان بقاء المحتوى المهم مرئياً لمحركات البحث ونماذج الذكاء الاصطناعي.