Keşfedildi - Şu Anda Dizine Eklenmiş Değil: Neden Taranmıyor?

"Keşfedildi - şu anda dizine eklenmiş değil", Google'ın adresi listesine aldığını (bir link ya da site haritası kaydı bulduğunu) ama sayfayı henüz getirmediğini söyler. Sayfanın içeriği hakkında bir karar verilmedi, çünkü Google sayfayı okumadı. Bir URL'nin böyle beklemesinin iki nedeni var: ya sunucun daha fazla taramayı kaldıramayacağını belli etti, ya da Google adresi henüz getirmeye değer bulmadı. Küçük sitelerde ikincisi çok daha sık görülür ve çözüm linkler, temiz bir site haritası ve daha az çöp URL'dir. Yine de önce sunucuya bak, on dakika sürer.

Google bu durum için ne diyor?

Search Console arayüzünde "Keşfedildi - şu anda dizine eklenmiş değil" diye görünen bu satır, Türkçe Sayfa dizine ekleme raporu yardımında "Bulundu: Şu anda dizine eklenmiş değil" başlığıyla anlatılıyor: "Sayfa, Google tarafından bulunmuş ancak henüz taranmamıştır. Tipik olarak Google, URL'yi taramak istemiş ancak bu işlemin sitenin aşırı yüklenmesine neden olacağı beklendiğinden taramayı başka zamana almıştır. Bu nedenle, rapordaki son tarama tarihi boştur."

O boş Son tarama tarihi, durumu Tarandı - şu anda dizine eklenmiş değil satırından ayırmanın en hızlı yolu. URL'lerden birini denetle: URL Denetleme, Google'ın sayfayı hiç taramadığını söylüyorsa doğru yerdesin.

Google'ın tarama bütçesi belgesi esas olarak büyük siteler için yazılmış ama hedef kitlesine açıkça bir grup daha ekliyor: "Tüm URL'lerinin büyük bir kısmı Search Console tarafından Keşfedildi - şu anda dizine eklenmiş değil olarak sınıflandırılmış siteler". Yani 300 sayfalık bir sitede de kuralları geçerli.

Kapasite ve talep: URL'yi sıradan çıkaran iki şey

Google tarama bütçesini "Google'ın tarayabileceği ve taramak istediği URL grubu" olarak tanımlıyor. Tarayabileceği kısım tarama kapasitesi sınırı, sunucunun davranışına bağlı. Taramak istediği kısım tarama talebi, URL'lerine ve web'in onlara nasıl link verdiğine bağlı.

Kapasite için belge şunu söylüyor: "Her site aynı varsayılan, ölçülü tarama kapasitesi sınırıyla başlar." Sınır, "Site tutarlı bir şekilde yanıt verirse ve yanıt süreleri (gecikme ve Time to First Byte dahil) sabit kalır veya iyileşirse" artar; site yavaşlarsa "ya da sunucu hatalarıyla (5xx HTTP durum kodları) veya sıklık sınırlama sinyalleriyle (ör. HTTP 429) yanıt verirse sınır düşer ve Google daha az tarama yapar."

Talep için Google etkileyebileceğin üç unsur sayıyor: algılanan envanter (URL'lerin birçoğu kopyaysa ya da taranmasını istemiyorsan "bu durum, Google'ın sitenizi tararken boşuna çok fazla vakit harcamasına neden olur"), popülerlik ve eskilik. Küçük sitelerdeki durumların çoğunu açıklayan cümle de şu: "Tarama talebi düşükse tarama kapasitesi sınırına ulaşılmasa bile Google, sitenizi daha az tarar."

adım: sunucuyu ele (kapasite)

Search Console'da Tarama İstatistikleri

Ayarlar > Tarama istatistikleri'ni aç (Google'ın yardımında "(Mülk ayarları) > Tarama istatistikleri" diye geçiyor). Üç şeye bak:

• Ana makine durumu. "İdeal olarak ana makine durumunuz Yeşil olmalıdır." Başka bir renk, Google'ın son 90 gün içinde "en az bir önemli tarama kullanılabilirlik sorunuyla" karşılaştığı anlamına gelir. Tıklayınca robots.txt alma, DNS çözümleme ve sunucu bağlantısını ayrı ayrı görürsün.
• Yanıta göre. 5xx ya da 429'un gözle görülür bir payı varsa sorun ortada.
• Ortalama yanıt süresi. Tarama isteklerinin düştüğü günlerde tırmanan bir çizgi kendini anlatır. Ölçmeyi ve düzeltmeyi yavaş sunucu yanıtı (TTFB) rehberi anlatıyor.

Google'ın Tarama İstatistikleri yardımı "Bin sayfadan az içeriğe sahip bir siteniz varsa bu raporu kullanmanıza ... gerek yoktur" diyor; günlük iş için doğru. Ama bu durum söz konusu olduğunda elindeki en hızlı kapasite kontrolü bu.

Sunucu günlüğün

Search Console toplamları gösterir, günlük ise ne zaman ve neden olduğunu. nginx ya da Apache çalışan bir VPS'te iki komut çoğu soruyu cevaplar:

Kullanıcı aracısında Googlebot yazması bir şey kanıtlamaz; birkaç IP'yi ters DNS ile kontrol et. Google'ın doğrulama sayfası maskeleri veriyor: genel tarayıcılar crawl-***-***-***-***.googlebot.com ya da geo-crawl-***-***-***-***.geo.googlebot.com olarak çözülür.

Küçük sitelerde sık çıkan nedenler:

• "Saldırgan" ziyaretçileri sınırlayan bir güvenlik eklentisi ya da WAF kuralı. Googlebot art arda çok istek atar ve kurala takılır. Google'ın yardımı bunu açıkça yazıyor: "Googlebot genellikle gerçek bir kullanıcıdan daha fazla istekte bulunduğundan, bu koruma sistemlerini tetikleyebilir." Sınırları herkes için gevşetmek yerine doğrulanmış Google tarayıcılarına izin ver.
• Paylaşımlı hosting kaynak sınırları. CloudLinux kullanan cPanel hostinglerde bir tarama dalgası hesabın işlem sınırına dayanıp 503 ya da "508 Resource Limit Is Reached" döndürebilir. Hosting firmandan günlüğündeki saatler için LVE istatistiklerini iste. Türkiye'deki birçok paylaşımlı hosting paketinde bu sınırlar paket sayfasında "giriş işlemi" ya da "entry process" diye yazar.
• Gece işleri. Sunucuyu bir iki saat dolduran yedeklemeler, görsel sıkıştırıcılar, önbellek yeniden oluşturma.
• Düpedüz yavaşlık. Önbelleksiz PHP sayfalarının her biri iki üç saniye sürüyor.

URL Denetleme bir gün Ana makine yükü aşıldı derse Google'ın cevabı belgede: "işletmeniz için uygunsa daha fazla sunucu kaynağı ekleyin."

Dışarıdan hızlı bir kontrol için bir sayfayı Googlebot erişim kontrolü aracından geçir. Sayfayı tarayıcı olarak ve Google'ın botları olarak ister, durum kodları farklıysa gösterir.

adım: Google'a taramak için neden ver (talep)

Sunucu temizse URL'ler, Google onlara pek talep görmediği için bekliyor. Kaldıraçlar şunlar, kabaca getirisine göre sıralı.

Google'ın zaten taradığı sayfalardan link ver

Google'ın yardımı sayfaların nasıl bulunduğu konusunda net: "bilinen bir sayfadan veya bir site haritasından sayfaya bağlantı verilmelidir." Site haritası URL'nin keşfedilmesini sağlar; Google'ın zaten uğradığı bir sayfadan gelen link ise genelde taranmasını sağlayan şeydir. Sık görülen boşluklar:

• Yalnızca site haritasında ve blog arşivinin 9. sayfasında görünen yeni yazılar.
• Gerçek sayfalama linki olmayan "Daha fazla yükle" düğmeleri ve sonsuz kaydırma. Google'ın link yönergeleri şöyle diyor: "Genel olarak Google, bağlantınızı yalnızca href özelliğine sahip bir <a> HTML öğesi (bağlantı öğesi olarak da bilinir) olduğunda tarayabilir." Yazıları JavaScript ile getiren bir <button> link değildir.
• Yalnızca en yeni beş yazıyı listeleyen kategori sayfaları.

Her yeni yazıya kategori sayfasından ve dizinde olan iki üç ilgili yazıdan link ver; önemli sayfaları ana sayfadan en fazla üç tıklama uzakta tut. Yetim sayfalar ve iç linkler rehberinde adım adım bir onarım akışı var.

Site haritasını dürüst tut

Site haritası özellikle yeni sitelerde işe yarar. Google'ın site haritası belgesine göre "Siteniz yeniyse ve sitenize verilen harici bağlantı sayısı azsa" site haritasına ihtiyacın olabilir. Aynı belge "site haritanızdaki tüm öğelerin taranıp dizine ekleneceği garanti edilmez" diye de ekliyor.

Zarar veren, yönlendiren, 404 veren, noindex taşıyan ya da canonical'ı başka yeri gösteren URL'lerle dolu bir site haritası. Her biri boşa harcanmış bir tarama. Yalnızca nihai, dizine eklenebilir ve kendini canonical gösteren URL'leri koy; <lastmod>'u yalnızca içerik değiştiğinde güncelle. Ayrıntılar XML site haritası hataları rehberinde.

Google'ın sende var sandığı URL yığınını küçült

Google'a göre algılanan envanter, "olumlu yönde en fazla kontrol edebileceğiniz faktördür." Küçük WordPress sitelerinde kalabalık genelde etiket arşivleri, tarih arşivleri, ?replytocom= yorum linkleri, takvim ya da filtre URL'leri, site içi arama sayfaları ve iki üç kez yönlenen eski adreslerden oluşur. Tarama bütçesi belgesinin kendi listesi:

• "Yinelenen içerikleri birleştirin."
• "Taramayı olumsuz yönde etkileyen uzun yönlendirme zincirlerinden kaçının." Bkz. yönlendirme zinciri ve döngüsü.
• "soft 404 hatayı kaldırın." Bkz. kırık linkler ve soft 404.
• "Kalıcı olarak kaldırılan sayfalar için 404 veya 410 durum kodunu döndürün."

Daha az ama daha iyi sayfa yayınla

Google'ın "Nasıl daha fazla tarama bütçesi alabilirim?" sorusuna cevabı iki parçalı: sunucu kaynağı ve içerik kalitesi; Google Arama için bu "popülerlik, genel kullanıcı değeri, içeriğin benzersizliği ve sunum kapasitesi gibi unsurlar" demek. Bir haftada 2.000 birbirine benzer il, ilçe ya da ürün sayfası yayınlayan yeni bir site, genelde bu sayfaların çoğunu burada park etmiş halde görür. Durumun buysa programatik SEO rehberi tam sana göre.

Dizine ekleme ne zaman istenir, ne zaman istenmez?

URL Denetleme'deki Dizine ekleme iste, bir avuç önemli sayfa içindir. URL Denetleme yardımı açık: "Günlük olarak gönderebileceğiniz istek sayısı sınırlıdır." Ve: "Yeni veya güncellenmiş birçok sayfanın dizine eklenmesini istemek için en iyi yöntem, güncellenmiş sayfaların <lastmod> ile işaretlendiği site haritası göndermektir."

Sabır da çözümün parçası. Yardım sayfasına göre "Bir sayfa URL'si öğrenildikten sonra, Google'ın sitenizin bir kısmını veya tamamını taraması biraz zaman alabilir (birkaç haftaya kadar)." Yepyeni bir sitede ilk haftalarda birkaç düzine URL'nin bu durumda olması normal.

Yapmaman gerekenler

Bütçeyi başka sayfalara "aktarmak" için robots.txt ile bölüm engelleme. Google: "Diğer sayfalara geçici olarak tarama bütçesi tahsis etmek için robots.txt kullanmayın ... Google, sitenizin tarama kapasitesi sınırına ulaşmadığı sürece bu yeni kullanılabilir tarama bütçesini diğer sayfalara aktarmaz."

Tarama bütçesinden tasarruf için noindex ekleme. "Kullandığınızda, Google yine de tarama isteği gönderecek, ancak HTTP yanıtında noindex meta etiketini veya üstbilgisini görünce sayfayı taramayı bırakacaktır. Bu da, tarama süresinin boşa harcanmasına neden olur." Noindex sayfayı sonuçlardan uzak tutmak içindir, taramadan değil.

Site haritasını her gün yeniden gönderme. Google onu kendi takvimiyle okur; değişmemiş bir dosyayı yeniden göndermek bir şey değiştirmez.

Güvenlik duvarını kapatma. Onun yerine doğrulanmış Google tarayıcılarına izin ver. Tarama sorununu korumayı kapatarak çözmek genelde bir güvenlik sorunu doğurur.

AdSense açısından neden önemli?

AdSense siteni Googlebot ile değil, kendi tarayıcısı Mediapartners-Google ile inceler. Ama tarama bütçesi belgesi "tarama kapasitesi sınırı tüm tarayıcılar arasında paylaştırılır" diyor; Googlebot'a 429 gönderen güvenlik duvarı ya da hosting sınırı çoğu zaman AdSense tarayıcısına da aynısını yapıyor. Sende sorunsuz açılan bir site için "Site kapalı veya kullanılamıyor" reddi böyle gelir. Tarama İstatistikleri'nde 429 ya da 5xx görüyorsan başvurudan önce düzelt.

Linkle ulaşılamayan sayfaları bul

Ücretsiz Approvalens taraması ana sayfandan başlayıp iç linkleri bir tarayıcı gibi izler; hiçbir sayfanın link vermediği site haritası yazılarını, dört ve daha fazla tıklama derindeki sayfaları ve sunucunun reddettiği istekleri işaretler: siteni tara.

SSS

Bir URL "Keşfedildi - şu anda dizine eklenmiş değil" durumunda ne kadar kalabilir?

Google bir üst sınır vermiyor. Yardım sayfası, URL öğrenildikten sonra taramanın "birkaç haftaya kadar" sürebileceğini söylüyor. Önemli sayfalar bir ay sonra hâlâ buradaysa yukarıdaki kapasite ve link adımlarını uygula.

Bu durum içeriğimin kötü olduğu anlamına mı geliyor?

Doğrudan değil; Google sayfayı henüz okumadı. Yine de düşük talep, Google'ın siteye genel bakışını yansıtabilir. Sitenin başka yerlerinde çok sayıda zayıf sayfa olması yenilerin taranmasını yavaşlatabilir.

Daha hızlı bir sunucu sorunu çözer mi?

Yalnızca sorun kapasiteyse. Önce Tarama İstatistikleri'ne ve günlüğe bak: 5xx, 429 ve yavaş yanıt var mı? Temizse çözüm donanım değil, linkler ve daha az çöp URL.

Bu durum için "Düzeltmeyi doğrula"ya basmalı mıyım?

Etkilenen URL'ler için link ya da sunucu sorunlarını düzelttikten sonra basabilirsin. Doğrulama yalnızca sorunun altındaki URL'leri yeniden kontrol eder ve genellikle iki hafta kadar sürer.

Google'dan sitemi daha hızlı taramasını isteyebilir miyim?

Googlebot'u daha çok taratan bir ayar yok. Tarama bütçesi belgesine göre sınır kendiliğinden ayarlanıyor: "Daha fazla tarama talebi olursa ve site sağlıklı kalırsa Google'ın sistemleri zaman içinde bu sınırı otomatik olarak ayarlar."