Yapay Zekâ Botlarını Engellemeli miyim? Yayıncılar İçin Artılar ve Eksiler

Yapay zekâ eğitim botlarını, yapay zekâ aramasından kaybolmadan engelleyebilirsin; çünkü büyük şirketler ikisini ayırıyor: OpenAI (GPTBot ve OAI-SearchBot), Anthropic (ClaudeBot ve Claude-SearchBot), Google (Google-Extended ve Googlebot), Apple (Applebot-Extended ve Applebot) ve Amazon (Amazonbot ve Amzn-SearchBot) ayrı kontroller belgeliyor. Yani asıl soru daha dar: içeriğinin model eğitiminde kullanılmasından rahatsız mısın? Eğitime izin vermenin belgelenmiş bir sıralama ya da trafik ödülü yok; AdSense'e de iki yönde de belgelenmiş bir etkisi yok. Katkı vermek istemiyorsan eğitimi engelle; kaynak gösterilmek istiyorsan arama botlarını açık tut.

Şirket şirket eğitim ve arama

Şirket	Eğitim kontrolü	Arama / cevap kontrolü	Kaynak
OpenAI	GPTBot	OAI-SearchBot (ChatGPT araması)	OpenAI
Anthropic	ClaudeBot	Claude-SearchBot, Claude-User	Anthropic
Google	Google-Extended (Gemini eğitimi ve grounding)	Googlebot (Arama, AI Overviews, AI Mode)	Google
Apple	Applebot-Extended	Applebot; yapay zekâ cevapları için nosnippet	Apple
Amazon	Amazonbot (Amazon'a göre yapay zekâ modellerini eğitmekte kullanılabilir)	Amzn-SearchBot (Amazon'a göre üretken yapay zekâ eğitimi için tarama yapmıyor)	Amazon
Perplexity	gerek yok: Perplexity'ye göre PerplexityBot temel model eğitimi için içerik toplamıyor	PerplexityBot	Perplexity
Common Crawl	CCBot (açık web arşivi)	yok	Common Crawl

Tipik bir "arama evet, eğitim hayır" bloğu:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: CCBot
Disallow: /

Dosyanın tamamı yapay zekâ botlarına robots.txt izni rehberinde.

Engellemek için sebepler

• Emeğinin eğitim verisinde olmasını istemiyorsun. Bu belirteçlerin belgelenmiş amacı bu; yayıncıların çoğunun onları kullanma sebebi de.
• Sunucu yükü. Geri ziyaretçi göndermeyen botlar bant genişliğine mal oluyor. Kurallara uyan botlar için robots.txt engeli bunu azaltıyor.
• Lisanslama. Bazı yayıncılar varsayılan olarak engelleyip içeriği ayrıca lisanslıyor. Cloudflare'in AI Crawl Control'ü düz bir engel yerine 402 Payment Required döndürmene bile izin veriyor (AI botlarını yönetme).

İzin vermek için sebepler

• Amacın münhasırlık değil erişim. Geniş kitlelere ulaşmasını istediğin bilgi, belge ya da nasıl yapılır içeriği yayımlıyorsan eğitim onu yayabilir; ama kaynak gösterilme garantisi olmadan.
• Sadelik. Daha az kural, yanlış botu engelleme ihtimalini azaltıyor.

Güvenmemen gereken şey: yukarıdaki şirketlerin hiçbiri eğitim botuna izin vermenin kendi aramasında ya da asistanında görünürlüğünü artırdığını söylemiyor. Google, Google-Extended'ın Arama'da sıralama sinyali olarak kullanılmadığını; Apple, Applebot-Extended kurallarının Arama sıralamasında dikkate alınmadığını belirtiyor.

Engellemenin yapmadıkları

• Geriye dönük değil. Anthropic, ClaudeBot'u engellemenin sitenin gelecekteki içeriğini dışarıda bıraktığını söylüyor; Squarespace de yapay zekâ botu ayarının daha önce toplanmış içeriği geriye dönük kaldırmadığını belirtiyor (Squarespace).
• Bir rica. Cloudflare'in belgesine göre robots.txt'ye uymak gönüllü (yönetilen robots.txt). Yukarıdaki şirketler uyduklarını söylüyor; başkaları uymayabilir. Engeli zorlamak bir güvenlik duvarı kuralı gerektiriyor.
• Kullanıcı tetiklemeli ziyaretleri kapsamıyor. OpenAI ve Perplexity, robots.txt'nin ChatGPT-User'a ve Perplexity-User'a uygulanmayabileceğini söylüyor.
• Karma amaçlı botlarda ya hep ya hiç. Cloudflare'in AI bot politikaları, hem eğitim hem arama için kullanılan botları eğitimi engelleyen her ayarda engelliyor (AI bot politikaları).

Görünürlüğe mal olan hatalar

Zararın çoğu niyet edilenden fazlasını engellemekten geliyor:

Hata	Kaybettiğin
İçinde OAI-SearchBot, Claude-SearchBot ya da PerplexityBot olan kopyalanmış bir liste	Yapay zekâ aramasında kaynak gösterilmek
Gemini'yi durdurmak için Googlebot'u engellemek	AI Overviews dahil Google Arama
Applebot-Extended yerine Applebot'u engellemek	Spotlight, Siri ve Safari sonuçları
Cloudflare'de Search için "Block (on all pages)"	Cloudflare'in Search olarak sınıfladığı bütün yapay zekâ arama botları
Bir barındırma servisinin engel listesinde her kutuyu işaretlemek; örneğin Netlify'ın User Agent Blocker'ı hem yapay zekâ hem SEO/arama botu seçenekleri sunuyor	Belki arama motorları da; her seçeneğin neyi kapsadığına bak

Peki AdSense?

Yapay zekâ eğitim botlarını engellemenin ya da onlara izin vermenin AdSense'e belgelenmiş bir etkisi yok. AdSense, yalnızca kendi adını anan robots.txt gruplarına uyan Mediapartners-Google ile tarıyor ve yukarıdaki eğitim belirteçlerinin hiçbiri o bot değil. Dikkat etmen gereken iki şey:

• Fazla engelleme. Googlebot'a ya da Mediapartners-Google'a çarpan bir "tüm botları engelle" kuralı gerçekten zarar veriyor; hangi grupların önemli olduğu robots.txt ve AdSense rehberinde.
• Cloudflare'in "reklamlı sayfalar" seçeneği. Cloudflare, yapay zekâ Training ya da Agent botlarını yalnızca reklam tespit ettiği sayfalarda engelleyebiliyor ve 15 Eylül 2026'dan beri yeni alan adlarında varsayılan bu. Google'ın reklam botlarını değil yapay zekâ botlarını hedefliyor; ama bir yapay zekâ asistanının yazı sayfalarını neden okuyamadığını merak ediyorsan bilmekte fayda var. Bkz. Cloudflare yapay zekâ bot engeli.

Makul bir varsayılan

AdSense'e başvuran ya da AdSense kullanan içerik sitelerinin çoğu için:

1. Arama botlarına izin ver: Googlebot, Mediapartners-Google, OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot.
2. Eğitim konusunda bir kez karar ver, sonra eğitim belirteçlerini açıkça yaz.
3. CDN'inin ve eklentilerinin bu kararı ezmediğini kontrol et.
4. Her yeni güvenlik ya da SEO eklentisinden sonra tekrar kontrol et.

Tercihlerini ücretsiz kontrol et

Ücretsiz yapay zekâ bot kontrolü yapay zekâ botlarını arama ve eğitim diye ayırıyor ve robots.txt'nin hangilerini engellediğini gösteriyor; dosyan kastettiğini söylüyor mu, görüyorsun. Sayfa istekleri bizim sunucumuzdan benzetilmiş kullanıcı aracılarıyla gidiyor; güvenlik duvarı sonuçları kanıt değil, güçlü bir ipucu. AdSense ve Google botlarının açık kaldığından emin olmak için robots.txt test aracını kullan ya da ücretsiz taramayı başlat.

Sık sorulan sorular

Yapay zekâ eğitim botlarını engellemek Google sıralamamı düşürür mü?

Google, Google-Extended'ın sıralama sinyali olarak kullanılmadığını ve Arama'da yer almayı etkilemediğini söylüyor. Diğer şirketlerin botları Google Arama'nın parçası değil.

GPTBot'u engellersem ChatGPT beni yine kaynak gösterebilir mi?

Evet, OAI-SearchBot'a izin veriyorsan. OpenAI ikisini bağımsız olarak belgeliyor.

Eğitim botlarını engellemek içeriğimi korumaya yeter mi?

Herkese açık içeriği hiçbir teknik önlem tam korumuyor. robots.txt kurallara uyan botları kapsıyor; güvenlik duvarı engeli zorlayabiliyor; hiçbiri daha önce toplananı geri almıyor.

CCBot'u engellemem gerekir mi?

Common Crawl robots.txt'de nasıl engelleneceğini belgeliyor. Engelleyip engellememek, sayfalarının onun herkese açık arşivinde olmasını isteyip istemediğine bağlı.