İçeriğe geç
Approvalens

Rehberler4 dk okuma

ClaudeBot Nedir? Claude-User ve Claude-SearchBot Farkı

Anthropic'in üç botu var: eğitim, Claude'un araması ve kullanıcı istekleri için. Her biri ne yapar, engellemek neye mal olur; robots.txt örnekleri.

Şu rapor bulgularını düzeltir

  • robots.txt'te yapay zekâ eğitim botları
  • Yapay zekâ arama botlarına robots.txt izni

Claude'u geliştiren Anthropic üç bot kullanıyor. ClaudeBot, modellerinin eğitiminde kullanılabilecek web içeriğini topluyor. Claude-SearchBot, Claude'un arama sonuçlarını iyileştirmek için içeriği dizine ekliyor. Claude-User, bir Claude kullanıcısı soru sorduğunda sayfaları çekiyor. Üçü de robots.txt'e uyuyor ve her biri ayrı ayrı açılıp kapatılabiliyor; yani içeriğini eğitimden uzak tutarken insanlar Claude'la arama yaptığında görünmeye devam edebilirsin.

Üç bot

Anthropic'in yardım makalesinden: Anthropic webden veri topluyor mu, site sahipleri botu nasıl engelleyebilir?

Bot Ne yapar Engellersen ne olur
ClaudeBot Eğitime katkı sağlayabilecek web içeriğini topluyor Sitenin gelecekteki içeriğinin eğitim veri setlerinden çıkarılması gerektiğini bildiriyor
Claude-SearchBot Kullanıcılar için arama sonuçlarının kalitesini artırmak üzere webde geziniyor İçeriğinin arama için dizine eklenmesini engelliyor; Anthropic'e göre bu, kullanıcı aramalarında görünürlüğünü ve doğruluğu azaltabilir
Claude-User Kullanıcılar Claude'a soru sorduğunda siteleri ziyaret ediyor Kullanıcı sorusuna cevap verirken içeriğinin alınmasını engelliyor; Anthropic'e göre kullanıcı yönlendirmeli aramada görünürlüğünü azaltabilir

"Gelecekteki içerik" ifadesine dikkat: ClaudeBot'u engellemek bundan sonra toplanacaklarla ilgili.

Claude'da görünür, eğitime kapalı kurulumda Anthropic'in üç botu: Claude-SearchBot izinli (Claude araması için dizine ekler), Claude-User izinli (biri Claude'a soru sorunca sayfayı çeker), ClaudeBot engelli (eğitim, yalnızca gelecekteki içerik). Altta çıkış tercihini boşa çıkaran iki hata: robots.txt okunamasın diye Anthropic IP'lerini engellemek ve üç botu da durduran CDN doğrulaması ya da CAPTCHA
Her bota bir kural seni Claude'da görünür, eğitimin dışında tutuyor; yeter ki botlar robots.txt'e ve sayfalarına gerçekten ulaşabilsin.

Anthropic'in taahhütleri

Aynı makalede şu ilkeler sayılıyor:

  • Anthropic botları robots.txt'teki standart yönergelere uyarak "tarama" sinyallerine saygı gösteriyor.
  • Anthropic botları atlatmayı önleyen teknolojilere de saygı gösteriyor; taradıkları sitelerde CAPTCHA aşmaya çalışmıyor.
  • Taramayı yavaşlatmak için standart dışı Crawl-delay yönergesini destekliyor.
  • Engeller alan adı bazında geçerli: çıkmak istediğin her alt alan adı için kuralı eklemen gerekiyor.

CAPTCHA taahhüdünün bir sonucu var: CDN'in Anthropic botlarına doğrulama sayfası gösteriyorsa orada duruyorlar. Doğrulama, öyle niyet etmesen de bir engel.

robots.txt örnekleri

Claude'da görünür ol, eğitime verme

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

ClaudeBot'u engellemek yerine yavaşlat

User-agent: ClaudeBot
Crawl-delay: 1

Crawl-delay robots.txt standardının (RFC 9309) parçası değil ve desteği değişiyor: Apple ve Amazon botlarının buna uymadığını söylüyor (Applebot, Amazonbot); Anthropic ise uyduğunu söylüyor.

Anthropic'ten gelen her şeyi engelle

User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
Disallow: /

Dosyayı kapsamak istediğin her alt alan adına koy: blog.ornek.com/robots.txt, ornek.com/robots.txt dosyasından ayrı.

Çıkmak için IP engellemeye güvenme

Daha sıkı gibi görünüyor ama Anthropic uyarıyor: Anthropic botlarının IP adreslerini engellemek gibi yöntemler düzgün çalışmayabilir ve kalıcı bir çıkışı garanti etmeyebilir, çünkü botların robots.txt dosyanı okumasını engelliyor. ClaudeBot robots.txt'ini okuyamazsa çıkmak istediğini de göremiyor.

Anthropic IP adreslerini claude.com/crawling/bots.json adresinde yayımlıyor; bir botun kaynak IP'si bu listedeyse Anthropic'ten geliyor. Bu listeyi ClaudeBot olduğunu söyleyen bir isteği doğrulamak ya da Anthropic botlarını güvenlik duvarından geçirmek için kullan, çıkmak için değil.

Kopyalanmış listelerdeki eski adlar

Squarespace'in yapay zekâ botu kutusunu işaretleyince eklediği liste dahil (Squarespace) bazı "yapay zekâ botlarını engelle" listelerinde ClaudeBot'un yanında anthropic-ai da geçiyor. Anthropic'in güncel sayfası yalnızca yukarıdaki üç botu anıyor. Fazladan satırlar zarar vermiyor; ama bir ClaudeBot grubunun yerini de tutmuyor. Claude'da görünmek istiyorsan bu listelerin hiçbiri, Claude-SearchBot ve Claude-User'ın engelli olmadığını kontrol etmenin yerine geçmiyor.

Güvenlik duvarları ve CDN'ler

Anthropic botları doğrulamaları aşmadığı için CDN'indeki her bot doğrulaması engel gibi çalışıyor. Şunlara bak:

Kayıtlarında ClaudeBot, Claude-SearchBot ve Claude-User ara, durum kodlarına bak. 403 ya da bir doğrulama cevabı, isteğin robots.txt'e sıra gelmeden durdurulduğunu gösteriyor.

Claude botları ve AdSense

AdSense ile ilgisiz. ClaudeBot'a izin vermek ya da onu engellemek, Google'ın AdSense botunun ne gördüğünü değiştirmiyor. O bot robots.txt ve AdSense rehberinde; AdSense'e hazırlığı ücretsiz Approvalens taraması kontrol ediyor.

Kurulumunu kontrol et

Ücretsiz yapay zekâ bot kontrolü, robots.txt'in ClaudeBot'a, Claude-SearchBot'a ve Claude-User'a izin verip vermediğini gösteriyor; güvenlik duvarı engellerini ve doğrulama sayfalarını yakalamak için sayfanı onların kullanıcı aracılarıyla istiyor. İstekler Anthropic'in IP adreslerinden değil bizim sunucumuzdan gidiyor, yani benzetim; IP'ye bakan bir güvenlik duvarı gerçek botlara farklı cevap verebilir. Aynı dosyanın Google tarafını robots.txt test aracı gösteriyor; ClaudeBot engelini robots.txt oluşturucu yazıyor ve istediğin yolu ClaudeBot ile Claude-SearchBot için test ediyor.

Sık sorulan sorular

ClaudeBot'u engellersem sitem Claude'un cevaplarından çıkar mı?

Anthropic ClaudeBot'u eğitim botu olarak tanımlıyor. Arama ve kullanıcı isteğiyle yapılan ziyaretler, ayrı kontrol ettiğin Claude-SearchBot ve Claude-User'ı kullanıyor.

Claude-User robots.txt'e uyuyor mu?

Anthropic botlarının robots.txt'e uyduğunu ve Claude-User'ı kapatmanın kullanıcı soruları için içeriğinin alınmasını engellediğini söylüyor. Bu, kullanıcı tetiklemeli botlarına robots.txt'in uygulanmayabileceğini söyleyen OpenAI ve Perplexity'den farklı.

Tarama konusunda Anthropic'e nasıl ulaşırım?

Yardım makalesinde bot şikâyetleri için bir iletişim adresi var; doğrulayabilmeleri için ilgili alan adındaki bir e-posta adresinden yazmanı istiyorlar.

Crawl-delay Claude-SearchBot için de çalışır mı?

Anthropic'in örneği ClaudeBot'u kullanıyor. Makale Crawl-delay'in tarama etkinliğini sınırlamak için desteklendiğini söylüyor, istisna saymıyor; yavaşlatmak istediğin her bot için bir grup ekle.

Eskimiş ya da yanlış bir şey mi gördün? Bize yaz, düzeltelim.

Bu rehberi İngilizce oku →

Kendi sitende kontrol et. Ücretsiz, kayıt yok.

Bunun için ücretsiz araçlar

Ücretsiz tarama

Kendi siteni kontrol et

Ücretsiz tarama ilk 50 sayfanı okur ve raporun geri kalanıyla birlikte şunlara bakar: robots.txt'te yapay zekâ eğitim botları ve Yapay zekâ arama botlarına robots.txt izni.

İlk 50 sayfa ücretsiz · üyelik yok · kart gerekmez