Cloudflare Yapay Zekâ Botlarını Engelliyor mu? Kontrol ve Çözüm

Siten Cloudflare arkasındaysa yapay zekâ botları üç ayrı yerde engellenebiliyor: AI bot politikaları (Search, Agent, Training), her botun yanında Allow ya da Block eylemi olan AI Crawl Control ve bilinen eğitim botları için Disallow: / grupları ekleyen yönetilen robots.txt. İlk ikisi isteği Cloudflare'in kenarında durduruyor; robots.txt'nin söz hakkı kalmıyor. Üstelik 15 Eylül 2026'dan beri Cloudflare'in yeni alan adları için varsayılanı, reklam gösteren sayfalarda Training ve Agent botlarını engellemek. AdSense kullanan her site için bu önemli. Sorunun robots.txt olduğunu varsaymadan önce üçüne de bak.

Üç anahtar

Özellik	Ne yapar	Nerede
AI bot politikaları	Davranışa göre engeller ya da izin verir: Search, Agent, Training. Her biri için "Block (on all pages)", "Block on pages with ads" ya da "Allow (do not block)"	Security Settings > Configure AI bot policies
AI Crawl Control	Siteni ziyaret eden yapay zekâ botlarının tablosu; her birinde Allow ya da Block eylemi. Engellemek bir WAF özel kuralı oluşturur	AI Crawl Control > Crawlers
Yönetilen robots.txt	robots.txt'nin başına yapay zekâ eğitim botları için Disallow: / grupları ve bir Content-signal satırı ekler	Security Settings > Bot traffic > "Set your preference to block training in robots.txt"

Kaynaklar: AI bot politikaları, AI botlarını yönetme, yönetilen robots.txt. Panel etiketleri zaman zaman değişiyor; yukarıdakiler yazıldığı tarihte Cloudflare belgelerinde geçen adlar. Panel Türkçe değil, o yüzden ayar adlarını İngilizce bıraktık.

AI bot politikaları ve yeni varsayılanlar

Cloudflare yapay zekâ botlarını davranışlarına göre sınıflandırıyor (AI botları):

• Search: içeriğini sonra hakkında soru cevaplayabilmek için topluyor ya da dizine ekliyor.
• Agent: bir kişi adına gerçek zamanlı iş görüyor; Cloudflare örnek olarak sohbet botlarının sayfa çekmesini ve tarayıcı kullanan ajanları veriyor.
• Training: içeriği bir modeli eğitmek ya da ince ayar yapmak için tarıyor; hem eğitim hem arama için kullanılan karma amaçlı botlar dahil.

Cloudflare belgelerinde açıkça yazıyor: 15 Eylül 2026'da yeni alan adları için varsayılanlar güncelleniyor; Training ya da Agent olarak sınıflanan botlar reklam gösteren sayfalarda engelleniyor, Search botlarına izin verilmeye devam ediyor. "Reklam gösteren sayfa" otomatik tespit ediliyor. AdSense sitesini bu tarihten sonra Cloudflare'e eklediysen ve bu ekranı hiç açmadıysan, yapay zekâ asistanlarının kullanıcı isteğiyle yaptığı ziyaretler reklamlı her sayfada engelleniyor olabilir; reklamsız sayfalar ise sorunsuz görünür.

Training başlığındaki son nokta da önemli: arama ve eğitimi birleştiren karma amaçlı botlar, eğitimi engelleyen her seçenekle engelleniyor. Hem arayan hem eğitim için toplayan bir botta "eğitimi engelle, aramaya izin ver" diyemiyorsun.

Eski tek anahtar "Block AI bots" da aynı tarihte kullanımdan kalkıyor olarak işaretlenmiş.

AI Crawl Control

AI Crawl Control, sayfalarını isteyen yapay zekâ botlarını, istek sayılarını, robots.txt ihlallerini ve bir Action sütununu listeliyor. Cloudflare'e göre bir botu burada engellediğinde sistem, engeli uygulamak için bölgende bir WAF özel kuralı oluşturuyor ya da güncelliyor. Ücretsiz planda botlar kullanıcı aracısı metnine göre tanınıyor; Bot Management planları Cloudflare'in tespit kimliklerini ekliyor (Başlarken).

Yönetilen robots.txt

Bu ayar açıksa ve sunucun zaten 200 durum koduyla bir robots.txt sunuyorsa, Cloudflare kendi bloğunu dosyanın başına ekliyor. Cloudflare'in verdiği örnekteki yönetilen içerik:

User-Agent: *
Content-signal: search=yes, ai-train=no, use=reference
Allow: /

User-agent: Amazonbot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: meta-externalagent
Disallow: /

Listede eğitim adları var; OAI-SearchBot, Claude-SearchBot ya da PerplexityBot yok. Pratikte iki sonucu var:

• Artık iki tane User-agent: * grubun oluyor (Cloudflare'inki ve seninki). RFC 9309'a göre aynı bota uyan gruplar birleştiriliyor, yani senin Disallow satırların geçerli kalıyor.
• Sunucudaki robots.txt'yi düzenleyip değişikliği "göremiyorsan" canlı dosyaya https://alanadin.com/robots.txt adresinden bak; yönetilen kısım sunucunda değil, Cloudflare'de ekleniyor.

Cloudflare de robots.txt'ye uymanın gönüllü olduğunu ve engeli zorlamanın yolunun AI Crawl Control olduğunu belirtiyor.

Yapay zekâ botlarına takılan diğer Cloudflare özellikleri

Yalnızca yapay zekâya özel ayarlar değil. Google'ı engelleyen özellikler yapay zekâ botlarını da engelleyebiliyor:

• Bot Fight Mode, bilinen bot kalıplarına uyan trafiği sorguya çekiyor ve Cloudflare'e göre WAF özel kurallarıyla özelleştirilemiyor ya da atlanamıyor (Bot Fight Mode). Sorguya çekilen istekler Security Events'te Service alanında "Bot Fight Mode" olarak görünüyor.
• Ülkeye, ASN'ye ya da boş referer'a göre doğrulama isteyen özel WAF kuralları. "Türkiye dışını doğrula" kuralı, Türkiye dışından gelen yapay zekâ botlarını da yakalıyor.
• Düşük eşikli hız sınırlama kuralları.
• Herkese doğrulama gösteren "I'm Under Attack" modu.

Bu ayarların ayrıntısı Cloudflare ve AdSense rehberinde.

Cloudflare ne yaptı, teyit et

1. Security > Analytics > Events ekranını aç; kullanıcı aracısında GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot ya da PerplexityBot geçenleri filtrele. Her olayda eylem ve sorumlu servis ya da kural yazıyor.
2. AI Crawl Control > Crawlers ekranında her botun Action sütununa ve istek eğilimine bak.
3. Canlı robots.txt'yi açıp en üstteki yönetilen bloğu oku.

Terminalden de deneyebilirsin:

curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" https://ornek.com/

403 bir engelleme kuralına işaret ediyor. Ama Cloudflare isteğin OpenAI'nin IP aralıklarından gelmediğini anlayabiliyor; buradaki 200 ya da 403 tam resmi vermiyor. Tam resim Security Events'te.

Yapay zekâ aramasını aç, eğitimi kapalı tut

1. Configure AI bot policies ekranında Search'ü Allow yap. Agent için karar ver: "Allow", ChatGPT, Claude ya da Perplexity'nin kullanıcının sorduğu sayfayı okumasına izin veriyor. Training'i istediğin gibi ayarla.
2. AI Crawl Control'de görünmek istediğin arama botlarını (OAI-SearchBot, Claude-SearchBot, PerplexityBot) Allow yap.
3. Yönetilen robots.txt'yi açık tutuyorsan son dosyanın bu arama botlarını engellemediğini kontrol et.
4. Kendi WAF kuralların varsa kullanıcı aracısı metnine göre değil, doğrulanmış botlara göre muafiyet tanı. Perplexity'nin belgesi, kullanıcı aracısını yayımladığı IP aralıklarıyla birleştiren bir WAF kuralı tarif ediyor; OpenAI de her botu için IP aralıklarını yayımlıyor (OpenAI botları).

Bunların hiçbiri AdSense'e dokunmuyor. AdSense botu Mediapartners-Google, yukarıdaki belgelerde Cloudflare'in yapay zekâ kategorilerinin hiçbirinde geçmiyor. Google'ın kendisi sorguya çekiliyorsa sorun yapay zekâ ayarı değil, Cloudflare ve AdSense sorunu.

Dışarıdan kontrol et

Ücretsiz yapay zekâ bot kontrolü sayfanı her yapay zekâ botunun kullanıcı aracısıyla istiyor ve Cloudflare'in yönetilen bloğu dahil canlı robots.txt'ni okuyor; hangi botun doğrulama sayfası, 403 ya da sayfanın kendisini aldığını görüyorsun. İsteklerimiz bir benzetim: botun kullanıcı aracısını taşıyor ama bizim sunucumuzdan gidiyor ve Cloudflare bunu ayırt edebiliyor. Sonucu nereye bakacağını bilmek için kullan, sonra Security Events'te teyit et. AdSense tarafı için Googlebot erişim kontrolü ve ücretsiz tarama Google'ın botlarını kontrol ediyor.

Sık sorulan sorular

Cloudflare bunu bana sormadan mı açtı?

Cloudflare belgelerine göre 15 Eylül 2026 varsayılanları yeni alan adları için geçerli. Eski alan adları eski ayarlarını koruyor; yine de ekrana bak, ekipten biri açmış olabilir.

"Block on pages with ads" AdSense'i etkiler mi?

Cloudflare bunu, seçilen yapay zekâ davranışlarını yalnızca reklam tespit ettiği sayfalarda engellemek olarak tarif ediyor. Konu yapay zekâ botları; belgelerde Google'ın reklam botlarına uygulandığına dair bir şey yok.

robots.txt'de GPTBot'a izin verdim. Neden hâlâ engelli?

robots.txt yalnızca rica edebiliyor, güvenlik duvarını aşamıyor. Cloudflare isteği kenarda engelliyorsa bot ne robots.txt'ye ne sayfana ulaşıyor. Ayarı Cloudflare'de değiştir.

Yapay zekâ botlarını Cloudflare'de mi engellemeliyim, robots.txt'de mi?

robots.txt tercihini ona uyan botlara bildiriyor; Cloudflare engeli ise uyguluyor. Birçok site eğitimden çıkmak için robots.txt kullanıp, kurala uymayan botlar için güvenlik duvarı engelini tutuyor. Artılar ve eksiler yapay zekâ botlarını engellemeli miyim rehberinde.