robots.txt test aracı
Bir sitenin robots.txt dosyasını getirin ya da kendi kurallarınızı yapıştırın; seçtiğiniz user-agent için adresin taranmasına izin verilip verilmediğini ve AI tarayıcılarının site genelindeki erişimini görün.
Nasıl kullanılır?
- Site adresini girin ya da robots.txt içeriğini yapıştırın.
- Test edilecek adresi ve user-agent'ı (Googlebot, GPTBot…) seçin.
- Sonuca göre Disallow/Allow kurallarınızı düzenleyin.
Sık sorulan sorular
robots.txt sayfayı dizinden çıkarır mı?
Hayır. robots.txt yalnızca taramayı engeller; dizinden çıkarmak için noindex kullanılmalıdır. Engellenen sayfa noindex etiketini de göremez.
AI botlarını engellemeli miyim?
Eğitim amaçlı botlar (ör. GPTBot, CCBot) ile arama amaçlı botlar (OAI-SearchBot, PerplexityBot) farklıdır. Arama botlarını engellemek AI yanıtlarında görünürlüğünüzü azaltabilir.
Kurallar nasıl değerlendiriliyor?
RFC 9309'a göre: en uzun eşleşen kural kazanır, eşitlikte Allow öncelikli olur; * ve $ desteklenir.