Araç nasıl bir dosya yazıyor?
En fazla üç gruptan oluşan kısa bir dosya: Mediapartners-Google'ı adıyla anan ve Disallow'u boş bir grup (AdSense botu açıkça serbest); dışarıda tutmayı seçtiğin yapay zekâ botları için bir grup; geri kalan herkes için taranmasını istemediğin yolları ve site haritanı içeren * grubu.
Google'ın belgelerine göre Mediapartners-Google * grubunu zaten yok sayıyor; yani ilk grup teknik olarak şart değil. Dosyayı sonradan açan herkes (sen dahil) niyetini net görsün diye ekleniyor.
Test sekmesi nasıl karar veriyor?
Dosyayı Google'ın belgelediği gibi okur: bir bot yalnızca kendisini en özel biçimde anan gruba uyar; grubun içinde en uzun eşleşen kural kazanır; eşitlikte Allow kazanır; * her karakter dizisiyle, $ adresin sonuyla eşleşir. Mediapartners-Google ve AdsBot-Google * grubunu atlar. Yapay zekâ botları tam adlarıyla eşleşir; gpt adlı bir grup GPTBot'a uygulanmaz.
Her bot için sonucu ve kararı veren satırı görürsün. Klasik hatayı yakalamaya genelde bu yeter: botun hiç okumadığı bir gruba yazılmış Allow kuralı.
Yapay zekâ botları: eğitim botu mu, arama botu mu?
Eğitim botları (GPTBot, ClaudeBot, CCBot ile Google-Extended ve Applebot-Extended belirteçleri) model eğitmek için metin toplar. Arama ve asistan botları (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) bir soruyu cevaplamak için sayfayı o an getirir ve çoğu zaman sana link verir. İkinci grubu engellersen o cevaplarda görünmezsin.
Google-Extended, Google Arama'yı ya da AdSense'i etkilemez. İçeriğin Gemini modelleri için kullanılıp kullanılmayacağını belirleyen ayrı bir belirteç; engellemek Googlebot'a ve AdSense botuna dokunmaz.
Reklamlı sitelerde sık görülen robots.txt hataları
- Canlı sitede User-agent: * altında Disallow: / (çoğu zaman test ortamından kalma)
- /wp-content/ ya da tema klasörlerini engellemek: Google'ın sayfayı çizmek için ihtiyaç duyduğu CSS ve JavaScript gizlenir
- Tam adres yerine göreli yol yazılmış Sitemap satırı
- Başında / olmayan kurallar: sandığın yollarla eşleşmez
- Aynı bot için birden fazla grup yazıp yalnızca sonuncunun geçerli olduğunu sanmak (gruplar birleşir)