Yapay zekâ botları Googlebot'tan neden farklı
Her yapay zekâ şirketi birden fazla bot çalıştırır ve bunlar farklı işler yapar. OpenAI'ın GPTBot'u modelleri eğitmek için sayfa toplar, OAI-SearchBot ChatGPT aramasında gösterilecek sayfaları bulur, ChatGPT-User ise biri ChatGPT'den istediğinde sayfayı getirir. Anthropic ve Perplexity de botlarını aynı şekilde ayırır. Birini engellemek diğerlerini engellemez.
Bu yüzden robots.txt'teki tek bir satır siteni yapay zekâ eğitiminin dışında tutarken asistanların senden alıntı yapmasına izin verebilir ya da yanlışlıkla tam tersini yapabilir. Kontrol her bot için sonucu gösterir; hangisinin sende geçerli olduğunu görürsün.
Sonuç nasıl okunur
- İzinli: robots.txt botun ana sayfanı almasına izin veriyor ve simülasyon isteğimiz sayfayı aldı.
- robots.txt engelliyor: dosyandaki bir kural bota ana sayfayı almamasını söylüyor. Kuralı, satırını ve grubunu alıntılıyoruz. Bu sonuç kesindir.
- Sunucu engelliyor: robots.txt izin veriyor ama sunucun ya da güvenlik duvarın isteğimizi geri çevirdi veya doğrulama ekranı gösterdi. Bu sonuç simülasyondur; güvenlik duvarı kayıtlarından doğrula.
- Belirsiz: istek hız sınırına takıldı, başarısız oldu ya da tarayıcının aldığından çok daha kısa bir sayfa döndü.
Eğitimi engellemek bir tercih, aramayı engellemek çoğu zaman hata
Birçok site eğitim botlarını bilerek engeller ve bu meşru bir karardır. Biz bunu sorun olarak değil, bilgi olarak raporluyoruz. Arama ve asistan botları farklıdır: engellenirlerse sayfaların ChatGPT, Claude ya da Perplexity cevaplarında linkiyle görünemez.
Bunların hiçbiri Google Arama'yı ya da AdSense'i etkilemez. Örneğin Google-Extended yalnızca Google'ın sayfalarını Gemini için kullanıp kullanamayacağını belirler; Google, bunun Arama'daki yerini ya da sıralamanı etkilemediğini söylüyor.