PerplexityBot Sitemi Taramıyor: Sebepleri ve Çözümü

Perplexity siteni hiç kaynak göstermiyorsa sebep genelde üç şeyden biri: PerplexityBot'u engelleyen bir robots.txt kuralı, isteklerini geri çeviren bir güvenlik duvarı ya da CDN, veya metni ancak JavaScript çalışınca beliren sayfalar. Perplexity'ye göre PerplexityBot siteleri Perplexity arama sonuçlarında göstermek ve linklemek için tasarlanmış, yapay zekâ temel modelleri için içerik toplamakta kullanılmıyor. Şirket, bota robots.txt'de ve yayımladığı IP aralıklarından gelen isteklere güvenlik duvarında izin verilmesini öneriyor. Bu üçünü düzelt, en az 24 saat bekle, sonra kayıtlarına bak.

Perplexity'nin iki kullanıcı aracısı

Perplexity'nin bot belgesinden:

Kullanıcı aracısı	Amacı	robots.txt	IP aralıkları
PerplexityBot	Siteleri Perplexity arama sonuçlarında göstermek ve linklemek. Temel model eğitimi için kullanılmıyor	Uyuyor; Perplexity izin verilmesini öneriyor	perplexitybot.json
Perplexity-User	Bir kullanıcı Perplexity'ye soru sorduğunda, doğru cevap verip sayfaya link koymak için sayfayı ziyaret etmek	Ziyareti kullanıcı istediği için robots.txt kurallarını genellikle yok sayıyor	perplexity-user.json

Yayımlanan tam kullanıcı aracısı metinleri:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

Perplexity her ayarın bağımsız çalıştığını ve değişikliklerin sistemlerine yansımasının 24 saate kadar sürebileceğini belirtiyor.

Sebep 1: robots.txt

https://alanadin.com/robots.txt dosyasında şunlardan birini ara:

• User-agent: PerplexityBot ve ardından Disallow: /;
• ayrı bir PerplexityBot grubu olmadan Disallow: / içeren User-agent: *;
• içinde PerplexityBot geçen, yapıştırılmış bir yapay zekâ botları listesi.

PerplexityBot bir eğitim botu olmadığı için onu "yapay zekâ eğitimini durdurmak" amacıyla engellemek, istediğini elde etmeden seni Perplexity arama sonuçlarından çıkarıyor. Açıkça izin vermek için:

User-agent: PerplexityBot
Allow: /

Yapay zekâ arama botlarına izin verip eğitim botlarını engelleyen tam bir dosya yapay zekâ botlarına robots.txt izni rehberinde.

Sebep 2: güvenlik duvarı, WAF ya da CDN

Perplexity'nin belgesinde bunun için ayrı bir bölüm var: siteni bir Web Uygulaması Güvenlik Duvarı (WAF) ile koruyorsan Perplexity botlarına açıkça izin vermen gerekebiliyor. Cloudflare talimatları, kullanıcı aracısı PerplexityBot ya da Perplexity-User ve kaynak IP'si yayımlanan aralıklarda olan istekleri geçiren bir özel kural tarif ediyor. AWS WAF talimatları da aynısını IP kümeleri ve metin eşleştirme koşullarıyla yapıyor.

Aralıkları güncel tutmanı da istiyor: IP aralıklarını bu adreslerden düzenli olarak çekip WAF kurallarını otomatik güncelleyen bir süreç kurmanı öneriyor.

Bakman gereken yaygın engelleyiciler:

• Cloudflare AI bot politikaları ve AI Crawl Control: Search'te ya da tek başına PerplexityBot'ta bir engel. Bkz. Cloudflare yapay zekâ bot engeli.
• Bot koruması ve doğrulamalar: Bot Fight Mode, JavaScript doğrulamaları, "I'm Under Attack" modu.
• Yalnızca kendi ülkenden gelen ziyaretçilere izin veren ülke ya da ASN kuralları.
• Kullanıcı aracısı kara listesi olan barındırma güvenlik duvarları ve WordPress güvenlik eklentileri. Bkz. sunucu ve eklenti kuralları.

Sebep 3: JavaScript'e muhtaç içerik

Perplexity, PerplexityBot'un JavaScript işleyip işlemediğini belgelemiyor. Yazı metnin sayfa yüklendikten sonra betiklerle geliyorsa botun boş bir sayfa görebileceğini varsay. Kaynağı Görüntüle ya da curl ile bak, bir yazının ortasından bir cümle ara. Bkz. JavaScript içerik ve yapay zekâ botları.

Sebep 4: henüz bir sorun yok

Taranabilir olmak, Perplexity'nin belirli bir soruda seni kaynak göstereceği anlamına gelmiyor. Değişikliklerin yansıması 24 saate kadar sürüyor ve hangi kaynakların gösterileceğini Perplexity seçiyor. Kayıtlarında PerplexityBot'un sayfaları 200 cevabıyla çektiğini görüyorsan sorun erişim değil.

Kayıtlarını oku

Sunucu ya da CDN kayıtlarında PerplexityBot ve Perplexity-User ara:

Gördüğün	Muhtemel anlamı
Hiç istek yok	Sunucudan önce engelleniyor (CDN, WAF) ya da henüz taranmadı
Yalnızca /robots.txt istekleri	robots.txt botu engelliyor
403, 429 ya da 503 cevapları	Güvenlik duvarı, hız sınırı ya da doğrulama
Sayfalar için 200 cevapları	Erişim çalışıyor

PerplexityBot olduğunu söyleyen isteklerin yayımlanan aralıklardan geldiğini kontrol et; Perplexity kullanıcı aracısı ile IP kontrolünü birlikte kullanmayı öneriyor.

Perplexity ve AdSense

İlgisiz. PerplexityBot'un AdSense ile bir bağı yok; ona izin vermek ya da onu engellemek onayı etkilemiyor. Google'ın reklam botu robots.txt ve AdSense rehberinde; AdSense tarafını ücretsiz Approvalens taraması kontrol ediyor.

Ücretsiz kontrol et

Ücretsiz yapay zekâ bot kontrolü, robots.txt'ni PerplexityBot ve diğer yapay zekâ botlarının okuyacağı gibi okuyor ve sayfanı onların kullanıcı aracılarıyla istiyor; robots.txt engelini, 403'ü ya da doğrulama sayfasını görebiliyorsun. İsteklerimiz benzetim: Perplexity'nin kullanıcı aracısını taşıyor ama Perplexity'nin IP aralıklarından değil bizim sunucumuzdan gidiyor; IP'ye bakan bir WAF kuralı gerçek bota farklı cevap verebilir. Aynı dosyayı Google için robots.txt test aracı kontrol ediyor.

Sık sorulan sorular

PerplexityBot'u engellemek Perplexity'nin içeriğimle eğitim yapmasını durdurur mu?

Perplexity, PerplexityBot'un yapay zekâ temel modelleri için içerik toplamakta kullanılmadığını söylüyor. Onu engellemek seni Perplexity arama sonuçlarından çıkarıyor.

Perplexity-User'ı robots.txt ile durdurabilir miyim?

Perplexity, ziyareti kullanıcı istediği için onun robots.txt kurallarını genellikle yok saydığını söylüyor. Güvenlik duvarı engeli işe yarar; ama o zaman Perplexity seni soranlar için sayfanı okuyamaz.

Dün PerplexityBot'a izin verdim. Neden hâlâ kaynak gösterilmiyorum?

Perplexity değişikliklerin 24 saate kadar sürebileceğini söylüyor; erişilebilir olmak da kaynak gösterilmeyi garanti etmiyor. Önce kayıtlarında başarılı istek var mı, bak.

Perplexity'yi yalnızca kullanıcı aracısına göre izin listesine eklesem olur mu?

Hayır. Bu kullanıcı aracısını herkes gönderebilir. Perplexity hem kullanıcı aracısını hem yayımladığı IP aralıklarını eşleştirmeyi öneriyor.