ClaudeBot Nedir? Claude-User ve Claude-SearchBot Farkı

Claude'u geliştiren Anthropic üç bot kullanıyor. ClaudeBot, modellerinin eğitiminde kullanılabilecek web içeriğini topluyor. Claude-SearchBot, Claude'un arama sonuçlarını iyileştirmek için içeriği dizine ekliyor. Claude-User, bir Claude kullanıcısı soru sorduğunda sayfaları çekiyor. Üçü de robots.txt'ye uyuyor ve her biri ayrı ayrı açılıp kapatılabiliyor; yani içeriğini eğitimden uzak tutarken insanlar Claude'la arama yaptığında görünmeye devam edebilirsin.

Üç bot

Anthropic'in yardım makalesinden: Anthropic webden veri topluyor mu, site sahipleri botu nasıl engelleyebilir?

Bot	Ne yapar	Engellersen ne olur
ClaudeBot	Eğitime katkı sağlayabilecek web içeriğini topluyor	Sitenin gelecekteki içeriğinin eğitim veri setlerinden çıkarılması gerektiğini bildiriyor
Claude-SearchBot	Kullanıcılar için arama sonuçlarının kalitesini artırmak üzere webde geziniyor	İçeriğinin arama için dizine eklenmesini engelliyor; Anthropic'e göre bu, kullanıcı aramalarında görünürlüğünü ve doğruluğu azaltabilir
Claude-User	Kullanıcılar Claude'a soru sorduğunda siteleri ziyaret ediyor	Kullanıcı sorusuna cevap verirken içeriğinin alınmasını engelliyor; Anthropic'e göre kullanıcı yönlendirmeli aramada görünürlüğünü azaltabilir

"Gelecekteki içerik" ifadesine dikkat: ClaudeBot'u engellemek bundan sonra toplanacaklarla ilgili.

Anthropic'in taahhütleri

Aynı makalede şu ilkeler sayılıyor:

• Anthropic botları robots.txt'deki standart yönergelere uyarak "tarama" sinyallerine saygı gösteriyor.
• Anthropic botları atlatmayı önleyen teknolojilere de saygı gösteriyor; taradıkları sitelerde CAPTCHA aşmaya çalışmıyor.
• Taramayı yavaşlatmak için standart dışı Crawl-delay yönergesini destekliyor.
• Engeller alan adı bazında geçerli: çıkmak istediğin her alt alan adı için kuralı eklemen gerekiyor.

CAPTCHA taahhüdünün bir sonucu var: CDN'in Anthropic botlarına doğrulama sayfası gösteriyorsa orada duruyorlar. Doğrulama, öyle niyet etmesen de bir engel.

robots.txt örnekleri

Claude'da görünür ol, eğitime verme

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

ClaudeBot'u engellemek yerine yavaşlat

User-agent: ClaudeBot
Crawl-delay: 1

Crawl-delay robots.txt standardının (RFC 9309) parçası değil ve desteği değişiyor: Apple ve Amazon botlarının buna uymadığını söylüyor (Applebot, Amazonbot); Anthropic ise uyduğunu söylüyor.

Anthropic'ten gelen her şeyi engelle

User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
Disallow: /

Dosyayı kapsamak istediğin her alt alan adına koy: blog.ornek.com/robots.txt, ornek.com/robots.txt dosyasından ayrı.

Çıkmak için IP engellemeye güvenme

Daha sıkı gibi görünüyor ama Anthropic uyarıyor: Anthropic botlarının IP adreslerini engellemek gibi yöntemler düzgün çalışmayabilir ve kalıcı bir çıkışı garanti etmeyebilir, çünkü botların robots.txt dosyanı okumasını engelliyor. ClaudeBot robots.txt'ni okuyamazsa çıkmak istediğini de göremiyor.

Anthropic IP adreslerini claude.com/crawling/bots.json adresinde yayımlıyor; bir botun kaynak IP'si bu listedeyse Anthropic'ten geliyor. Bu listeyi ClaudeBot olduğunu söyleyen bir isteği doğrulamak ya da Anthropic botlarını güvenlik duvarından geçirmek için kullan, çıkmak için değil.

Kopyalanmış listelerdeki eski adlar

Squarespace'in yapay zekâ botu kutusunu işaretleyince eklediği liste dahil (Squarespace) bazı "yapay zekâ botlarını engelle" listelerinde ClaudeBot'un yanında anthropic-ai da geçiyor. Anthropic'in güncel sayfası yalnızca yukarıdaki üç botu anıyor. Fazladan satırlar zarar vermiyor; ama bir ClaudeBot grubunun yerini de tutmuyor. Claude'da görünmek istiyorsan bu listelerin hiçbiri, Claude-SearchBot ve Claude-User'ın engelli olmadığını kontrol etmenin yerine geçmiyor.

Güvenlik duvarları ve CDN'ler

Anthropic botları doğrulamaları aşmadığı için CDN'indeki her bot doğrulaması engel gibi çalışıyor. Şunlara bak:

• Cloudflare AI bot politikaları (Search, Agent, Training), AI Crawl Control ve Bot Fight Mode: Cloudflare yapay zekâ bot engeli.
• Barındırma ve WordPress güvenlik duvarları: sunucu ve eklenti kuralları.

Kayıtlarında ClaudeBot, Claude-SearchBot ve Claude-User ara, durum kodlarına bak. 403 ya da bir doğrulama cevabı, isteğin robots.txt'ye sıra gelmeden durdurulduğunu gösteriyor.

Claude botları ve AdSense

AdSense ile ilgisiz. ClaudeBot'a izin vermek ya da onu engellemek, Google'ın AdSense botunun ne gördüğünü değiştirmiyor. O bot robots.txt ve AdSense rehberinde; AdSense'e hazırlığı ücretsiz Approvalens taraması kontrol ediyor.

Kurulumunu kontrol et

Ücretsiz yapay zekâ bot kontrolü, robots.txt'nin ClaudeBot'a, Claude-SearchBot'a ve Claude-User'a izin verip vermediğini gösteriyor; güvenlik duvarı engellerini ve doğrulama sayfalarını yakalamak için sayfanı onların kullanıcı aracılarıyla istiyor. İstekler Anthropic'in IP adreslerinden değil bizim sunucumuzdan gidiyor, yani benzetim; IP'ye bakan bir güvenlik duvarı gerçek botlara farklı cevap verebilir. Aynı dosyanın Google tarafını robots.txt test aracı gösteriyor.

Sık sorulan sorular

ClaudeBot'u engellersem sitem Claude'un cevaplarından çıkar mı?

Anthropic ClaudeBot'u eğitim botu olarak tanımlıyor. Arama ve kullanıcı isteğiyle yapılan ziyaretler, ayrı kontrol ettiğin Claude-SearchBot ve Claude-User'ı kullanıyor.

Claude-User robots.txt'ye uyuyor mu?

Anthropic botlarının robots.txt'ye uyduğunu ve Claude-User'ı kapatmanın kullanıcı soruları için içeriğinin alınmasını engellediğini söylüyor. Bu, kullanıcı tetiklemeli botlarına robots.txt'nin uygulanmayabileceğini söyleyen OpenAI ve Perplexity'den farklı.

Tarama konusunda Anthropic'e nasıl ulaşırım?

Yardım makalesinde bot şikâyetleri için bir iletişim adresi var; doğrulayabilmeleri için ilgili alan adındaki bir e-posta adresinden yazmanı istiyorlar.

Crawl-delay Claude-SearchBot için de çalışır mı?

Anthropic'in örneği ClaudeBot'u kullanıyor. Makale Crawl-delay'in tarama etkinliğini sınırlamak için desteklendiğini söylüyor, istisna saymıyor; yavaşlatmak istediğin her bot için bir grup ekle.