أوامر robots.txt الأساسية
| الأمر | معناه | مثال |
|---|---|---|
| User-agent | الروبوت المقصود بالقواعد التي تليه. النجمة * تعني كل الروبوتات. | User-agent: Googlebot |
| Disallow | مسار ممنوع الزحف إليه. | Disallow: /wp-admin/ |
| Allow | استثناء مسموح داخل مسار ممنوع. | Allow: /wp-admin/admin-ajax.php |
| Sitemap | رابط خريطة الموقع، ليجد جوجل صفحاتك بسرعة. | Sitemap: https://example.com/sitemap.xml |
| * و $ | النجمة تعني «أي نص»، والدولار تعني «نهاية الرابط». | Disallow: /*.pdf$ |
أخطاء شائعة تجنّبها
Disallow: / يمنع موقعك كله. هذا السطر وحده يخرج موقعك من جوجل. يُنسى كثيرًا بعد نقل الموقع من بيئة التجربة.
robots.txt ليس حماية. يمنع الزحف لا الوصول، والملف نفسه يراه الجميع. الصفحات الخاصة تحتاج كلمة مرور.
المنع لا يحذف من النتائج. الصفحة الممنوعة قد تبقى في جوجل إن وُجدت روابط إليها. لإخراجها استخدم وسم noindex واسمح بزحفها.
ملفات CSS وJS. لا تمنعها، فجوجل يحتاجها ليرى صفحتك كما يراها الزائر.
أسئلة شائعة عن robots.txt
أين أضع ملف robots.txt؟
في المجلد الرئيسي للموقع، ليكون على الرابط yoursite.com/robots.txt بالضبط. في ووردبريس تنشئه إضافات السيو مثل Yoast وRank Math، ويمكن تعديله منها.
كيف يقرر جوجل عند تعارض القواعد؟
يطبّق القاعدة الأطول (الأكثر تحديدًا) المطابقة للرابط، وعند التساوي يقدّم Allow. هذا ما تفعله أداة الاختبار هنا بالضبط، وهو المعيار RFC 9309.
هل أمنع روبوتات الذكاء الاصطناعي؟
قرارك. منعها يحمي محتواك من استخدامه في تدريب النماذج، لكنه قد يقلل ظهورك في إجابات أدوات مثل ChatGPT. منع Google-Extended لا يؤثر في بحث جوجل.
لماذا لا تجلب الأداة ملف موقعي تلقائيًا؟
المتصفحات تمنع قراءة ملفات المواقع الأخرى لأسباب أمنية. افتح yoursite.com/robots.txt وانسخ محتواه والصقه في خانة الاختبار.