OpenAI'nin botları farklı işler yapıyor. GPTBot, OpenAI modellerini eğitmekte kullanılabilecek içeriği topluyor. OAI-SearchBot, sitenin ChatGPT arama cevaplarında görünüp görünemeyeceğini belirliyor. ChatGPT-User, bir ChatGPT kullanıcısı istediğinde sayfayı çekiyor ve OpenAI'ye göre robots.txt ona uygulanmayabilir. OAI-AdsBot ise yalnızca ChatGPT'de reklam olarak gönderilen sayfaları ziyaret ediyor. ChatGPT'den trafik isteyip eğitime içerik vermek istemeyen içerik sitelerinin çoğu için doğru ayar: OAI-SearchBot'a izin ver, GPTBot'u engelle. OpenAI ayarların bağımsız olduğunu söylüyor.
OpenAI'nin dört kullanıcı aracısı
Bu tablodaki her şey OpenAI'nin bot belgesinden.
| GPTBot | OAI-SearchBot | ChatGPT-User | OAI-AdsBot | |
|---|---|---|---|---|
| Amacı | Üretken yapay zekâ temel modellerinin eğitiminde kullanılabilecek içeriği taramak | Siteleri ChatGPT'nin arama özelliklerinde göstermek | Kullanıcılar ChatGPT'ye ya da özel bir GPT'ye soru sorduğunda sayfayı ziyaret etmek; GPT Actions da dahil | ChatGPT'de reklam olarak gönderilen sayfaların güvenliğini doğrulamak |
| Kendiliğinden tarar mı? | Evet | Evet | Hayır, webi otomatik taramak için kullanılmıyor | Yalnızca reklam olarak gönderilen sayfalar |
| robots.txt | Engellemek, içeriğin eğitimde kullanılmaması gerektiğini bildiriyor | Engelleyen siteler ChatGPT arama cevaplarında gösterilmiyor, gezinme linki olarak çıkabiliyor | Kuralları uygulanmayabilir | Belirtilmemiş |
| Eğitimde kullanılır mı? | Evet, işi bu | Eğitim botu olarak tanımlanmamış | Belirtilmemiş | Temel model eğitiminde kullanılmıyor |
| IP aralıkları | gptbot.json | searchbot.json | chatgpt-user.json | adsbot.json |
Aynı sayfadan iki ayrıntı daha:
- Ortak tarama. İki bota da izin verdiysen OpenAI, gereksiz tarama yapmamak için tek bir taramanın sonucunu iki amaç için de kullanabiliyor. Kayıtlarında yalnızca birini görmen diğerinin engelli olduğu anlamına gelmiyor.
- ChatGPT-User aramayı kontrol etmiyor. OpenAI'ye göre içeriğin aramada görünüp görünmeyeceğine karar vermekte kullanılmıyor; bunun için OAI-SearchBot var.
Kullanıcı aracısı metinleri nasıl görünüyor?
OpenAI örnek metinler veriyor ve sürüm numaralarının değişebileceğini belirtiyor:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
GPTBot ve OAI-SearchBot robots.txt'yi çekerken metne bir robots.txt işareti ekleyebiliyor. robots.txt'ye yalnızca adı (GPTBot, OAI-SearchBot) yazıyorsun, metnin tamamını değil. Tam metne göre eşleşen filtreler OpenAI sürüm numarasını her artırdığında bozuluyor; ada göre, daha iyisi yayımlanan IP aralıklarına göre eşleştir.
Üç kurulum
Arama evet, eğitim hayır
Yayıncıların en yaygın tercihi.
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Her şeye izin
User-agent: * grubun kısıtlayıcı değilse OpenAI grubuna gerek yok. Tercihini belgelemek istersen açıkça yaz:
User-agent: OAI-SearchBot
User-agent: GPTBot
Allow: /
OpenAI'ye hiçbir şey
User-agent: OAI-SearchBot
User-agent: GPTBot
Disallow: /
Bu seni ChatGPT arama cevaplarından çıkarıyor (gezinme linkleri yine çıkabilir) ve eğitimden çıkarıyor. ChatGPT-User'ı güvenilir şekilde durdurmuyor, çünkü kullanıcının başlattığı ziyaretlere robots.txt uygulanmayabilir. Bunu istiyorsan ChatGPT-User'ın IP aralıklarını güvenlik duvarında engelle; ama o zaman ChatGPT seni soran hiç kimse için sayfalarını okuyamaz.
Hangisine izin vermelisin?
| İstediğin… | OAI-SearchBot | GPTBot |
|---|---|---|
| ChatGPT arama trafiği, eğitim yok | İzin ver | Engelle |
| ChatGPT'de en geniş erişim | İzin ver | İzin ver |
| OpenAI hiçbir şey kullanmasın | Engelle | Engelle |
OpenAI, GPTBot'a izin vermenin ChatGPT aramasındaki görünürlüğünü artırdığını söylemiyor; yani eğitime izin vermek için belgelenmiş bir görünürlük sebebi yok. Karar, içeriğinin eğitim verisinde olmasından rahatsız olup olmadığınla ilgili. Artılar ve eksiler yapay zekâ botlarını engellemeli miyim rehberinde.
Güvenlik duvarı ve doğrulama
Herkes GPTBot diyen bir istek gönderebilir. Gerçek botları güvenlik duvarından geçirmek için kullanıcı aracısı metnine değil, OpenAI'nin yayımladığı IP aralıklarına göre eşleştir. Sahteleri engellemek için tersini yap: OpenAI kullanıcı aracısı taşıyıp bu aralıkların dışından gelen istekleri düşür. Cloudflare kullanıyorsan önce onun yapay zekâ ayarlarına bak; liste Cloudflare yapay zekâ bot engeli rehberinde.
OpenAI botları ve AdSense
Bunların hiçbiri Google AdSense ile ilgili değil. OAI-AdsBot, senin sitendeki reklamlarla değil, ChatGPT'deki reklamlarla ilgili. AdSense, Mediapartners-Google ile tarıyor; o taraf robots.txt ve AdSense rehberinde.
Hangi OpenAI botlarına izin verdiğini kontrol et
Ücretsiz yapay zekâ bot kontrolü, robots.txt'nin GPTBot'a, OAI-SearchBot'a ve ChatGPT-User'a izin verip vermediğini bot bot gösteriyor ve güvenlik duvarı engellerini yakalamak için sayfanı her kullanıcı aracısıyla istiyor. Bu istekler benzetim: OpenAI'nin kullanıcı aracısı metinlerini taşıyor ama OpenAI'nin IP aralıklarından değil bizim sunucumuzdan gidiyor; IP doğrulayan bir güvenlik duvarı farklı cevap verebilir. robots.txt'ni satır satır okumak için robots.txt test aracını kullan.
Sık sorulan sorular
GPTBot ile ChatGPT aynı şey mi?
Hayır. GPTBot eğitim için tarıyor. ChatGPT'nin araması OAI-SearchBot'u, kullanıcı adına yapılan canlı ziyaretler ChatGPT-User'ı kullanıyor.
GPTBot'a yalnızca bazı klasörlerde izin verebilir miyim?
Evet. robots.txt yolları grup bazında çalışıyor; örneğin User-agent: GPTBot, Allow: /blog/, Disallow: /. En uzun eşleşen yol kazanıyor.
Değişiklikler ne kadar sürede geçerli olur?
Arama için OpenAI, robots.txt güncellemesinden sonra yaklaşık 24 saat sürebileceğini söylüyor.
robots.txt'mde başka bir OpenAI botu adı var. Önemli mi?
OpenAI'nin güncel belgesi yukarıdaki dört kullanıcı aracısını listeliyor. Listede olmayan bir ad için yazılmış grup hiçbir işe yaramıyor; kopyalanmış bir liste yerine yazımı OpenAI'nin sayfasıyla karşılaştır.
Eskimiş ya da yanlış bir şey mi gördün? Bize yaz, düzeltelim.
Bu rehberi İngilizce oku →Kendi sitende kontrol et. Ücretsiz, kayıt yok.
Bunun için ücretsiz araçlar
Ücretsiz tarama
Kendi siteni kontrol et
Ücretsiz tarama: uygunluk puanı ve tüm sorunlar, genelde birkaç dakikada.