İçeriğe geç
Approvalens

Ücretsiz araç · kayıt yok

ChatGPT siteni görebiliyor mu?

GPTBot, ClaudeBot, PerplexityBot ve 11 yapay zekâ botunun daha ana sayfanı okuyup okuyamayacağını kontrol ediyoruz: her biri için tam robots.txt kuralı, kapını çaldıklarında sunucunun verdiği yanıt, noai etiketleri, JavaScript, llms.txt ve site haritan. Ücretsiz, kayıt yok, yaklaşık 20 saniye.

Canlı bir siteyi kontrol et

Ücretsiz · kayıt yok · yalnızca ana sayfa · yaklaşık 20 saniye

Ücretsiz ana sayfa kontrolü. Her tam Site raporu bunu her sayfada yapar — sitenin tamamını tara.

Neyi test ediyoruz

Bir yapay zekâ asistanının siteni okuyup okuyamayacağını altı şey belirler

  1. Bot bot robots.txt

    robots.txt dosyanı RFC 9309'un tarif ettiği gibi okuyor, her yapay zekâ botuna uygulanan grubu ve tam kuralı buluyoruz. Kesin sonuç.

  2. Cloudflare dahil sunucu erişimi

    Ana sayfanı her botun kullanıcı aracısıyla istiyor; reddetmeleri, doğrulama ekranlarını ve hız sınırlarını yakalıyoruz. Simülasyon.

  3. noai yönergeleri

    noai, noimageai, noindex ya da nosnippet içeren robots meta etiketleri ve X-Robots-Tag başlıkları.

  4. JavaScript bağımlılığı

    Ham HTML'deki kelimeleri sayfa işlendikten sonraki kelimelerle karşılaştırıyoruz. Çoğu yapay zekâ botu JavaScript çalıştırmaz.

  5. llms.txt

    Dosyan var mı, varsa önerilen biçime uyuyor mu; sorun sorun.

  6. Site haritası

    Site haritandan örnek sayfalar alıp robots.txt'in hangi yapay zekâ botlarını bu sayfalardan uzak tuttuğuna bakıyoruz.

Kimi test ediyoruz

14 yapay zekâ botu ve robots.txt adları

Her biri sağlayıcının kendi belgelerine bağlanıyor.

Yapay zekâ botları Googlebot'tan neden farklı?

Her yapay zekâ şirketi birden fazla bot çalıştırır ve bunlar farklı işler yapar. OpenAI'ın GPTBot'u modelleri eğitmek için sayfa toplar, OAI-SearchBot ChatGPT aramasında gösterilecek sayfaları bulur, ChatGPT-User ise biri ChatGPT'den istediğinde sayfayı getirir. Anthropic ve Perplexity de botlarını aynı şekilde ayırır. Birini engellemek diğerlerini engellemez.

Bu yüzden robots.txt'teki tek bir satır siteni yapay zekâ eğitiminin dışında tutarken asistanların senden alıntı yapmasına izin verebilir ya da yanlışlıkla tam tersini yapabilir. Kontrol her bot için sonucu gösterir; hangisinin sende geçerli olduğunu görürsün.

Sonucu nasıl okursun?

  • İzinli: robots.txt botun ana sayfanı almasına izin veriyor ve simülasyon isteğimiz sayfayı aldı.
  • robots.txt engelliyor: dosyandaki bir kural bota ana sayfayı almamasını söylüyor. Kuralı, satırını ve grubunu alıntılıyoruz. Bu sonuç kesindir.
  • Sunucu engelliyor: robots.txt izin veriyor ama sunucun ya da güvenlik duvarın isteğimizi geri çevirdi veya doğrulama ekranı gösterdi. Bu sonuç simülasyondur; güvenlik duvarı kayıtlarından doğrula.
  • Belirsiz: istek hız sınırına takıldı, başarısız oldu ya da tarayıcının aldığından çok daha kısa bir sayfa döndü.

Eğitimi engellemek bir tercih, aramayı engellemek çoğu zaman hata

Birçok site eğitim botlarını bilerek engeller ve bu meşru bir karardır. Biz bunu sorun olarak değil, bilgi olarak raporluyoruz. Arama ve asistan botları farklıdır: engellenirlerse sayfaların ChatGPT, Claude ya da Perplexity cevaplarında linkiyle görünemez.

Bunların hiçbiri Google Arama'yı ya da AdSense'i etkilemez. Örneğin Google-Extended yalnızca Google'ın sayfalarını Gemini için kullanıp kullanamayacağını belirler; Google, bunun Arama'daki yerini ya da sıralamanı etkilemediğini söylüyor.

Sorular

Sık sorulan sorular

GPTBot'u engellemek sitemi ChatGPT'den çıkarır mı?

ChatGPT aramasından çıkarmaz. OpenAI üç aracı belgeliyor: GPTBot eğitim için içerik toplar, OAI-SearchBot ChatGPT arama sonuçlarında gösterilecek sayfaları bulur, ChatGPT-User ise bir kullanıcı istediğinde sayfayı getirir. GPTBot'u engellemek sayfalarını eğitimin dışında tutar; ChatGPT aramasında görünmek için OAI-SearchBot'a izin vermelisin.

Kaynak:developers.openai.com

ClaudeBot, Claude-SearchBot ve Claude-User arasındaki fark ne?

Anthropic'e göre ClaudeBot, modellerini eğitmekte kullanılabilecek herkese açık web içeriğini toplar; Claude-SearchBot arama sonuçlarının kalitesini artırmak için tarar; Claude-User ise bir Claude kullanıcısı soru sorduğunda sayfaları getirir. Anthropic botlarının robots.txt'e uyduğunu söylüyor ve her biri ayrı ayrı engellenebilir.

Kaynak:support.claude.com

Perplexity robots.txt'e uyar mı?

Perplexity iki aracı belgeliyor. PerplexityBot, Perplexity arama sonuçlarında siteleri bulup linkler ve robots.txt'e uyar. Perplexity-User ise bir kullanıcı istediği için sayfayı getirir; Perplexity bu isteklerde robots.txt'i genellikle dikkate almadığını söylüyor.

Kaynak:docs.perplexity.ai

Google-Extended'ı engellemek Google sıralamamı düşürür mü?

Hayır. Google, Google-Extended'ı içeriğinin Gemini modelleri için kullanılıp kullanılamayacağını belirleyen bağımsız bir robots.txt ürün adı olarak tanımlıyor; ayrı bir bot değil ve Google Arama'daki yerini ya da sıralamanı etkilemiyor.

Kaynak:developers.google.com

Cloudflare sitemde yapay zekâ botlarını neden engeller?

Cloudflare, bilinen yapay zekâ botlarını tüm sitede engelleyen bir ayar sunar ve bu ayar panelden tek adımda açılabilir. Açıksa robots.txt izin verse bile yapay zekâ botları reddedilir ya da doğrulamaya takılır. Sunucu testimiz bunu gösterir, ama yalnızca simülasyon olarak; çünkü Cloudflare gerçek botları ağlarından tanıyabilir.

Kaynak:developers.cloudflare.com

llms.txt nedir, bana gerekli mi?

llms.txt, /llms.txt adresinde duran ve yapay zekâ araçlarına sitenin kısa bir haritasını veren bir Markdown dosyası önerisidir: başlık, özet ve önemli sayfalarının linkleri. Bir standart değil ve büyük yapay zekâ botları onu kullandıklarını söylemiyor; bu yüzden dosyanın olmamasını bilgi olarak raporluyoruz. Dosyan varsa önerilen biçime göre kontrol ediyoruz.

Kaynak:llmstxt.org

noai ve noimageai meta etiketleri işe yarar mı?

Hiçbir standardın parçası değiller ve Google'ın desteklediği robots meta kuralları listesinde yer almıyorlar. İsteğini belirtirler ama bir botu engellemezler. Bir botu uzak tutmak için robots.txt'i, sayfaları aramadan tamamen çıkarmak için noindex'i kullan.

Kaynak:developers.google.com

Bu kontrol ne kadar kesin?

robots.txt kısmı kesindir: dosyanı RFC 9309'un tarif ettiği gibi, en özel grubu ve en uzun eşleşen kuralı kullanarak okuyoruz. Sunucu kısmı ise simülasyondur: her botun kullanıcı aracısını kendi sunucularımızdan gönderiyoruz ve botları IP adresinden doğrulayan bir güvenlik duvarı gerçek bota farklı davranabilir.

Kaynak:rfc-editor.org

Rehberler

Bu aracı kullanan rehberler

Bu kontrol nerede karşına çıkar ve bulduğu sorunu nasıl düzeltirsin.

Site raporunun parçası

Yapay zekâ görünürlüğü her tam raporda var

Bu ücretsiz kontrol ana sayfanı okur. Tam Site raporu aynı testleri taradığı her sayfada yapar; yanında AdSense uygunluk incelemesi, SEO analizi ve güvenlik kontrolü de vardır: tek tarama, tek rapor, tek fiyat.

  • 01AdSense uygunluğu

    AdSense onaylar mı?

    • Google politikaları ve içerik değeri sinyalleri
    • Gizlilik, hakkımızda ve iletişim sayfaları
    • ads.txt ve AdSense botu
    • Engelleyicileri öne alan bir uygunluk puanı

    Puanın arkasında 241 kontrol

  • 02SEO analizi

    Arama motorları tarayıp anlayabiliyor mu?

    • Dizine eklenme, canonical ve hreflang
    • Başlıklar, açıklamalar ve H etiketleri
    • İç linkler, yetim sayfalar ve tıklama derinliği
    • Hız, görseller, mobil ve yapılandırılmış veri

    107 SEO kontrolü

  • 03Yapay zekâ görünürlüğüBuradasın

    ChatGPT, Claude ve Perplexity okuyabiliyor mu?

    • Her yapay zekâ botu için robots.txt kuralları
    • Sunucu ve Cloudflare erişimi (simülasyon)
    • noai etiketleri ve yalnızca JavaScript'le gelen içerik
    • llms.txt: kontrol edilir, senin için hazırlanır

    14 yapay zekâ botu test edilir

Fiyat

Ücretsiz başla. Sitenin tamamı tek raporda.

  1. 01Ücretsiz kontrol

    0 $ana sayfa

    • Ana sayfan, 14 yapay zekâ botuna karşı
    • robots.txt kuralları ve simülasyonla sunucu erişimi
    • noai, JavaScript, llms.txt ve site haritası
    • Paylaşılabilir sonuç linki
  2. 02Tam site raporu

    14,99 $site başına, tek seferlik

    • Sitenin tamamı taranır, 20.000 sayfaya kadar
    • Her sayfa, test ettiğimiz 14 yapay zekâ botuna karşı
    • Kendi sayfalarından oluşturulan bir llms.txt
    • Aynı raporda AdSense uygunluk incelemesi, SEO analizi ve güvenlik kontrolü
    • Her sorun, kanıtı ve düzeltme adımlarıyla
    • Bir ay sınırsız yeniden tarama ve site izleme

Tüm fiyatlarİzleme planları

Sonraki adım

Burada tek kontrol, raporda tüm site

Bu, 258 kontrolden yalnızca biri. Tam tablo için tüm siteyi tara; ilk 50 sayfa ücretsiz.

İlk 50 sayfa ücretsiz · üyelik yok · kart gerekmez