Araç ne yapıyor?
Ana sayfana her biri farklı bir kimlikle (user agent) beş istek gönderiyoruz. Her yanıt için durum kodunu, yönlendirmelerden sonraki son adresi, sayfadaki kelime sayısını ve bot doğrulamasına dair izleri kaydediyoruz. Cloudflare, Sucuri, Imperva, Akamai ve AWS WAF'ın doğrulama ve engel sayfalarını tanıyoruz: “Just a moment...” ekranları, CAPTCHA formları ve 403 sayfaları gibi.
Taklit ettiğimiz beş ziyaretçi:
- Masaüstü tarayıcı (Chrome)
- Telefon (mobil Chrome)
- Googlebot
- Mediapartners-Google, yani AdSense botu
- AdsBot-Google
Sonucu nasıl okursun?
Satırları tek tek değil, birbiriyle karşılaştırarak oku.
- Beşi de 200 dönüyor ve kelime sayıları yakın: botlar insanlarla aynı sayfayı görüyor. İstediğin tablo bu.
- Tarayıcı 200 alırken botlar 403, 429 ya da 503 alıyor: bir güvenlik duvarı, hız sınırı ya da güvenlik eklentisi bot kimliğini tehdit sayıyor.
- Botlar 200 alıyor ama kelime sayısı çok düşük: büyük ihtimalle bir doğrulama sayfası ya da boş bir kabuk. Hangi sağlayıcıyı tespit ettiğimize bak.
- Son adresler farklı: bir yönlendirme botları ya da telefonları başka bir yere gönderiyor. Onlara farklı içerik göstermek gizleme (cloaking) gibi görünebilir.
- Tarayıcı dahil hepsi başarısız: site gerçekten kapalı ya da alan adında veya SSL sertifikasında bir sorun var.
Bizim Googlebot'umuz neden engellenebilir?
İyi bir güvenlik duvarı user agent yazısına güvenmez. Gerçek Googlebot'u ters DNS sorgusuyla doğrular: IP adresi googlebot.com ya da google.com uzantılı bir ada çözülmeli, o ad da aynı IP'ye geri dönmeli. Bizim isteklerimiz kendi sunucularımızdan çıkıyor; düzgün ayarlanmış bir WAF taklit Googlebot'umuzu engellerken gerçeğini içeri alabilir. Bu doğru bir davranış.
Bu yüzden buradaki engeli güçlü bir ipucu olarak gör, kesin hüküm olarak değil. Google Search Console'da doğrula: URL Denetimi'ni aç, ana sayfanın adresini gir ve Canlı URL'yi test et düğmesine bas. Google sayfayı alabiliyorsa güvenlik duvarın botları doğru tanıyor demektir. Canlı test de başarısızsa engel gerçektir.
“Site kapalı veya kullanılamıyor” hatasını düzeltmek
“Site kapalı veya kullanılamıyor” bir politika ihlali değil, AdSense panelinde görünen bir durum. AdSense botunun siteni açmaya çalıştığında başaramadığı anlamına geliyor. Google'ın erişilemeyen siteler için kontrol listesi şunları soruyor: Site yayında mı? Şifre istiyor mu? SSL sertifikası geçerli mi ve HTTP, HTTPS'e yönleniyor mu? robots.txt botu engelliyor mu?
Aşağıdaki olası sebepleri tek tek ele al, sonra AdSense'te Siteler sayfasından yeniden inceleme iste:
- Cloudflare: Security, Events ekranında user agent'a göre filtreleyip neyin doğrulamaya takıldığına bak. Tüm trafiğe uygulanan özel kuralları, hız sınırlarını ve ülke engellerini gözden geçir. Google çoğunlukla ABD IP adreslerinden tarar; ABD'yi engellemek Google'ı da engeller.
- Wordfence, Sucuri ve benzeri eklentiler: doğrulanmış arama motoru botlarına izin ver, ülke bazlı engellerden kaçın.
- Hosting: paylaşımlı sunucular botları bazen 429 ya da 503 ile yavaşlatır. Destek ekibinden Google'ın yayınladığı bot IP aralıklarını izin listesine eklemesini iste.
- Şifre ya da bakım modu: başvurmadan önce “yakında” eklentilerini ve HTTP şifre korumasını kapat.
- SSL: süresi dolmuş sertifikayı yenile, http:// adresini 301 ile https:// adresine yönlendir.
Erişim neden ilk sırada?
İnceleme ekibi sayfanı açamıyorsa başvurundaki diğer hiçbir şey değerlendirilemez. Üstelik erişim sorunları çoğu zaman sessizdir: sen siteni her gün sorunsuz açarken güvenlik duvarın yalnızca botları geri çeviriyor olabilir, bu yüzden kendi tarayıcınla bakmak yetmez. Erişim ilk bakılacak şey ve hangi katmanın botları geri çevirdiğini bulduğunda çözüm genellikle hızlıdır.
Approvalens'in tam taraması erişimi 5.000'e kadar sayfada test eder; robots.txt, ads.txt, içerik ve politika kontrollerini de aynı raporda toplar. Kaynak: https://support.google.com/adsense/answer/12176698
FAQ
AdSense'teki “Site kapalı veya kullanılamıyor” ne demek?
AdSense siteni incelemeye çalıştığında ona ulaşamadı demek. En sık sebepler: güvenlik duvarı ya da bot doğrulaması, robots.txt'te Mediapartners-Google engeli, şifre ya da bakım sayfası, geçersiz SSL sertifikası ve AdSense'e yanlış girilmiş site adresi.
Cloudflare Googlebot'u engeller mi?
Tasarım gereği hayır; Cloudflare, Googlebot gibi doğrulanmış botları tanır. Engeller genellikle özel güvenlik kurallarından, hız sınırlarından, ülke engellerinden ya da agresif bot ayarlarından gelir. Security, Events ekranında Google kimlikli isteklere bak.
Araç Googlebot engelli diyor, Search Console sorun yok diyor. Hangisi doğru?
Search Console. Onun canlı testi, güvenlik duvarının doğrulayabildiği gerçek Google IP adreslerinden gelir. Biz yalnızca Googlebot'un kimliğini taklit ediyoruz; sıkı bir WAF bizi engelleyip Google'ı yine de içeri alabilir.
Botlar farklı sayfa görüyorsa bu gizleme (cloaking) sayılır mı?
Google'ın spam politikalarına göre gizleme, sıralamayı manipüle etmek için arama motorlarına kullanıcılardan farklı içerik göstermektir. Doğrulama sayfası genellikle kasıtlı değildir, yani gizleme sayılmaz; ama incelemeyi yine de durdurur, o yüzden düzeltmen gerekir.