robots.txt Oluşturucu

robots.txt, bir web sitesinin kök dizinine yerleştirilen ve arama motoru tarayıcılarına hangi sayfaların taranacağını veya yok sayılacağını bildiren bir metin dosyasıdır.

Hayır. robots.txt yalnızca taramayı kontrol eder — başka sitelerden bağlantı verilmişse sayfalar yine de arama sonuçlarında görünebilir. Tamamen kaldırmak için noindex meta etiketi kullanın.

robots.txt dosyasında her şirketin duyurduğu tarayıcıyı adıyla yazın — GPTBot, ClaudeBot, PerplexityBot ve benzerleri — ve bunlara Disallow verin. Daha yeni bir yaklaşım olan Content-Signal, izni amaca göre tek satırda bildirmenizi sağlar; örneğin search=yes, ai-train=no. Unutmayın ki robots.txt teknik bir engelleme değil, yalnızca uymayı seçen tarayıcıların saygı gösterdiği bir ricadır; gerçekten alınmaması gereken şey bir oturum açma perdesinin arkasında durmalıdır.

Evet — tek başına Disallow: / satırı tüm siteyi taramanın dışında bırakır. Bir test sunucusunun robots.txt dosyasını o satırı silmeden canlıya çıkarmak gerçekten sık görülen bir kazadır. Her yayından hemen sonra robots.txt dosyasını tarayıcıda açıp bakın ve önemli sayfalarınızı Google Search Console'un robots.txt test aracından geçirin. Dizinden düşmenin ardından toparlanmak, dosya düzeltildikten çok sonra bile günler hatta haftalar alır.