robots.txt ve AdSense Botu: Gerçekten Önemli Kurallar

AdSense botu Mediapartners-Google, robots.txt'de yalnızca kendi adını doğrudan anan gruplara uyuyor; User-agent: * grubunu yok sayıyor. Yani AdSense'i engelleyen tek satır, User-agent: Mediapartners-Google altındaki bir Disallow: /. Bu * kurallarını zararsız yapmıyor: onlar hâlâ Googlebot'u engelliyor, bu da ads.txt'nin okunmasını durdurabiliyor ve içeriğinin Google tarafından değerlendirilmesini zorlaştırıyor. En güvenli kurulum, Mediapartners-Google için açık bir grup ve hafif bir * grubu.

AdSense için önemli botlar

Kullanıcı aracısı	Ne yapar	* grubunu okur mu?
Mediapartners-Google	Hangi reklamların gösterileceğine karar vermek için sayfaları tarar	Hayır. Google'a göre genel kullanıcı aracısı (*) yok sayılır (özel amaçlı tarayıcılar)
Google-Display-Ads-Bot	AdSense yeni eklenen bir siteyi kontrol ederken Mediapartners-Google ile birlikte kullanılır (Yeni site ekle)	Engelleme
Googlebot	Google Arama tarayıcısı	Evet
Google-Extended	İçeriğin Gemini model eğitiminde kullanımını kontrol eden robots.txt belirteci	Ayrı bir tarayıcı değil; AdSense'i etkilemez

AdSense yardım sayfası sonucu açıkça söylüyor: robots.txt dosyanı AdSense botunun sayfaları taramasını engelleyecek şekilde değiştirdiysen o sitede Google reklamı sunulamıyor (tarayıcı erişimi). * grubu için de şunu ekliyor: User-agent: * satırıyla engellenmiş sayfalarda reklam gösteriyorsan, AdSense botu bu sayfaları yine de tarıyor (AdSense tarayıcısı hakkında).

robots.txt grupları nasıl okunur?

robots.txt RFC 9309 ile standartlaştırıldı. Sürprizlerin çoğunu üç kural açıklıyor:

1. Bir tarayıcı, adıyla eşleşen en özel grubu kullanır. User-agent: Googlebot grubu varsa Googlebot onu izler ve * grubunu yok sayar. Adını taşıyan grup yoksa * grubuna düşer (Mediapartners-Google hariç; o asla düşmez).
2. Grup içinde en uzun eşleşen yol kazanır. O tek adres için Allow: /wp-admin/admin-ajax.php, Disallow: /wp-admin/ kuralını yener.
3. Yollar önek olarak eşleşir. Disallow: /ads; /ads, /ads/, /ads-rehberi ve /ads.txt adreslerinin hepsini engeller.

Boş bir Disallow: "hiçbir şey yasak değil" demek; bir botun her şeyi çekebileceğini söylemenin en temiz yolu bu.

Güvenli örnekler

Tipik bir WordPress sitesi

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://ornek.com/sitemap_index.xml

Burada Mediapartners-Google grubu teknik olarak gereksiz, çünkü bot zaten * grubunu okumuyor. Ama niyetini belgeliyor ve biri ileride daha geniş bir engel eklerse seni koruyor.

AdSense'e dokunmadan yapay zekâ eğitim botlarını engellemek

User-agent: Mediapartners-Google
Disallow:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://ornek.com/sitemap.xml

Google-Extended sadece içeriğin Gemini eğitiminde kullanılıp kullanılmayacağını kontrol ediyor. Googlebot'u ya da AdSense botunu engellemiyor. "Yapay zekâ botlarını engelle" türü bir eklenti ya da CDN özelliği kullanıyorsan, yalnızca bunun gibi gruplar eklediğini ve herkes için toptan bir Disallow: / eklemediğini kontrol et.

Asla taranmaması gereken bir test sitesi

Test (staging) sitesini robots.txt'ye güvenmek yerine şifre ya da IP izin listesi arkasında tut. Sonra test sitesinin robots.txt dosyasının canlıya taşınmadığından emin ol. User-agent: * Disallow: / sunan bir canlı site, gördüğümüz en yaygın kendi kendine açılan sorunlardan biri.

AdSense'i engelleyen ya da incelemeye zarar veren hatalar

Hata	Etkisi	Çözüm
User-agent: Mediapartners-Google + Disallow: /	AdSense tarayamaz; reklam yok, incelemede "Site kapalı veya kullanılamıyor"	Disallow: (boş) yap
Test sitesinden kalan User-agent: * + Disallow: /	Googlebot engellenir; Google, robots.txt'nin taramayı engellediği içerikte reklamı kapatabileceğini söylüyor (reklam yerleşimi politikaları)	Satırı kaldır
Reklam klasörünü gizlemek için Disallow: /ads	/ads.txt de engellenir	Sondaki eğik çizgiyle Disallow: /ads/ kullan
CSS ve JS klasörlerini engellemek	Google sayfaları düzgün işleyemez	Tema ve eklenti dosyalarına izin ver
robots.txt 5xx dönüyor ya da zaman aşımına uğruyor	Google dosyayı çekene kadar tüm siteyi yasak sayabilir	Her zaman 200 dönen statik bir dosya sun
robots.txt bir HTML sayfası	Kurallar okunamaz	/robots.txt adresinde düz metin sun
Sitemap satırı yanlış alan adını gösteriyor	Tarayıcılar yok sayar ya da test sunucusunu tarar	Canlı, asıl sitemap adresini kullan

Googlebot'u engellemek AdSense için neden yine önemli?

AdSense botu Googlebot'tan ayrı ve Arama'da dizine girmiş olmak AdSense şartı değil. Ama Googlebot'a dönük engeller yine de sorun çıkarıyor:

• ads.txt. Google'a göre robots.txt, ads.txt dosyasının bulunduğu yolun taranmasını engelliyorsa tarayıcılar o alan adının ads.txt dosyasını yok sayabiliyor (ads.txt taranması). Ayrıntılar ads.txt kurulumu rehberinde.
• İçeriğin değerlendirilmesi. Google, robots.txt engeli arkasındakiler dahil, değerlendiremediği içerikte reklamı kapatabiliyor.
• Her yerde noindex. Site geneline yayılmış bir noindex meta etiketi ya da X-Robots-Tag: noindex başlığı robots.txt değil, ama aynı "bakma" sinyalini veriyor. İncelenmesini istediğin sayfalardan kaldır. WordPress'te Ayarlar > Okuma altındaki "Arama motorlarının bu siteyi dizine eklemesini engelle" kutusunun işaretli kalmadığından emin ol.

robots.txt'ni test et

curl -s https://ornek.com/robots.txt
curl -sI https://ornek.com/robots.txt

Durum kodunu (200), içerik türünü (text/plain) ve grupları kontrol et. Search Console'daki robots.txt raporu, Google'ın hangi sürümü çektiğini ve ayrıştırma hatalarını gösteriyor. Bir güvenlik duvarı botları sorguya çekiyorsa robots.txt'nin kendisi senin için açılırken Google için erişilemez olabilir; bu durumu Cloudflare engeli rehberi, daha geniş erişim kontrollerini site kapalı veya kullanılamıyor rehberi anlatıyor. Her grubu botun yapacağı gibi nasıl değerlendirdiğimizi yöntem sayfamızda açıklıyoruz.

robots.txt'ni ücretsiz kontrol et

Ücretsiz tarama robots.txt dosyanı RFC 9309'a göre ayrıştırıyor; Mediapartners-Google, Googlebot ve ads.txt için değerlendiriyor ve bunları engelleyen her şeyi işaretliyor. Ücretsiz taramayı başlat.

Sık sorulan sorular

User-agent: * ve Disallow: / AdSense'i engeller mi?

* grubunu yok sayan AdSense botunu engellemez. Ama Googlebot'u engeller; bu da ads.txt taramasını ve içerik değerlendirmesini etkileyebilir. Canlı bir sitede bırakma.

Mediapartners-Google grubu eklemem şart mı?

Onu engelleyen bir şey yoksa hayır. Boş Disallow: ile bir User-agent: Mediapartners-Google grubu eklemek, niyetini açıkça göstermenin zararsız bir yolu.

Google-Extended'ı engellemek AdSense gelirimi düşürür mü?

Google-Extended, Gemini eğitimi için ayrı bir belirteç. Googlebot'u ya da Mediapartners-Google'ı kontrol etmiyor.

Google robots.txt değişikliklerini ne kadar hızlı görür?

Google robots.txt'yi genelde bir güne kadar önbellekte tutuyor. Değişiklikler çoğunlukla bu süre içinde görülüyor.