مولّد robots.txt

robots.txt ملف نصي يُوضع في جذر الموقع يخبر زواحف محركات البحث بأي الصفحات يجب الزحف إليها أو تجاهلها.

لا. يتحكم robots.txt في الزحف فقط، وقد تظهر الصفحات في نتائج البحث إذا ارتبطت بها مواقع أخرى. استخدم علامة ميتا noindex للإزالة الكاملة.

في ملف robots.txt سمِّ الزاحف المعلَن لكل شركة — GPTBot وClaudeBot وPerplexityBot وغيرها — وضع له Disallow. وثمة نهج أحدث اسمه Content-Signal يتيح إعلان الإذن بحسب الغرض في سطر واحد، مثل search=yes وai-train=no. وتذكّر أن robots.txt طلب لا يحترمه إلا الزواحف التي تختار الالتزام به، وليس حجباً تقنياً؛ فما يجب ألّا يُؤخذ فعلاً ينبغي أن يقبع خلف تسجيل دخول.

نعم، فسطر واحد يقول Disallow: / يستبعد الموقع بأكمله من الزحف. ونشر ملف robots.txt الخاص بخادم التجربة إلى الإنتاج دون حذف ذلك السطر حادث شائع فعلاً. افتح robots.txt في المتصفح مباشرةً بعد كل نشر، وافحص صفحاتك الرئيسية بأداة اختبار robots.txt في Google Search Console. فالتعافي من الخروج من الفهرسة يستغرق أياماً إلى أسابيع، بعد إصلاح الملف بوقت طويل.