Applebot-Extended Nedir? Apple'ın Yapay Zekâ Eğitiminden Çıkmak

Applebot-Extended bir tarayıcı değil, robots.txt belirteci. Onu engellemek Apple'a içeriğini temel modellerini (Apple Intelligence, Services ve Developer Tools) eğitmekte kullanmamasını söylüyor; normal Applebot ise taramaya devam ediyor ve sayfaların Spotlight, Siri ve Safari sonuçlarında kalıyor. Apple'a göre Applebot-Extended web sayfalarını taramıyor ve onu engelleyen sayfalar arama sonuçlarında yer almaya devam edebiliyor. Siri ve Arama'daki yapay zekâ cevapları için Apple başka bir kontrol kullanıyor: nosnippet meta etiketi.

Applebot ile Applebot-Extended farkı

Buradaki her şey Apple'ın Applebot hakkında sayfasından.

	Applebot	Applebot-Extended
Ne	Apple'ın web tarayıcısı	Apple'ın, Applebot verisini model eğitiminde kullanmadan önce baktığı robots.txt belirteci
Tarama yapar mı?	Evet	Hayır; yalnızca Applebot'un taradığı verinin nasıl kullanılacağını belirlemek için kullanılıyor
Ne için	Spotlight, Siri ve Safari'de arama; yapay zekâ cevaplarını ve eğitimi de besleyebilir	Apple'ın temel modellerinin eğitiminden çıkmak
robots.txt	Kendisine yönelik standart yönergelere uyuyor; adı geçmiyorsa ama Googlebot geçiyorsa Googlebot yönergelerini izliyor	Eğitimden çıkmak için engelle
Sıralama	Normal arama etkenleri	Apple'a göre Applebot-Extended kuralları Arama sıralamasında dikkate alınmıyor

Üç ayrı kontrol

Apple içeriğinin üç farklı kullanımını ayırıyor; her birinin kendi anahtarı var:

1. Arama (Spotlight, Siri, Safari): robots.txt'deki Applebot kuralları ve noindex meta etiketiyle kontrol ediliyor.
2. Kaynaklı yapay zekâ cevapları (Siri'de ve Arama'da geniş genel kültür soruları): belirli içerikte nosnippet ile çıkılıyor. Apple, nosnippet etiketli veriyi ürünlerinde yapay zekâ modelleri çıktı üretirken ek bağlam olarak kullanmadığını söylüyor.
3. Apple'ın temel modellerinin eğitimi: Applebot-Extended engellenerek çıkılıyor.

Apple ayrıca yapılandırılmış veride isAccessibleForFree: false olarak işaretlenen sayfaların aramada görünebildiğini ama Applebot'un o içeriği yapay zekâ çıktısı için ek bağlam olarak kullanmadığını belirtiyor.

robots.txt örnekleri

Apple aramasında kal, eğitimden çık

User-agent: Applebot-Extended
Disallow: /

Bu kadar. Applebot diğer kurallarına göre taramaya devam ediyor.

Sitenin bir kısmı için eğitimden çık

User-agent: Applebot-Extended
Disallow: /ozel/

Bir bölümü yapay zekâ cevaplarından da uzak tut

İlgili sayfalara ekle:

<meta name="applebot" content="nosnippet">

ya da destekleyen her bota uygulamak için <meta name="robots" content="nosnippet">. Apple, PDF'ler için işe yarayan X-Robots-Tag: applebot: nosnippet HTTP başlığını da kabul ediyor. nosnippet'in Apple'ın sayfa için açıklama ya da web cevabı üretmemesi anlamına geldiğini, robots sürümünün Google'ın snippet'ini de kaldırdığını unutma.

Googlebot'a düşme kuralı

Applebot'un bir davranışı insanları şaşırtıyor: robots yönergeleri Applebot'u anmıyor ama Googlebot'u anıyorsa Apple'ın botu Googlebot yönergelerini izliyor. robots.txt'nde katı bir User-agent: Googlebot grubu varsa ve Applebot grubu yoksa Applebot * grubunu değil, Googlebot kurallarını kullanıyor. Applebot'a kendi kurallarını vermek için adını yaz:

User-agent: Applebot
Allow: /

Grupların genel olarak nasıl seçildiği robots.txt öncelik rehberinde.

İşleme ve engellenen kaynaklar

Apple, Applebot'un siteni bir tarayıcı içinde işleyebileceğini ve robots.txt'de JavaScript, CSS ya da XHR kaynakları engelliyse içeriği düzgün işleyemeyebileceğini söylüyor. Tema ve betik klasörlerini engelleme. Applebot crawl-delay'e de uymuyor.

Applebot'u doğrulamak

Apple'a göre Applebot trafiği genellikle *.applebot.apple.com alan adında ters DNS ile tanınıyor; IP'yi Apple'ın yayımladığı Applebot IP CIDR listesiyle karşılaştırmak da mümkün. Applebot-Extended istek yapmadığı için kayıtlarda hiç görünmüyor.

Applebot-Extended ekleyen araçlar

Squarespace'in "Block known artificial intelligence crawlers" ayarı (Squarespace) ve Cloudflare'in yönetilen robots.txt'si (Cloudflare) bir Applebot-Extended grubu ekliyor. Yayımladıkları listelerde ikisi de Applebot'un kendisini engellemiyor.

Applebot-Extended ve AdSense

İlgisiz: Apple'ın botu ve çıkış seçenekleri Google'ın AdSense botunu etkilemiyor. AdSense tarafını ücretsiz Approvalens taraması kontrol ediyor; şirketlerin eğitimden çıkma seçeneklerinin karşılaştırması yapay zekâ botlarını engellemeli miyim rehberinde.

Kurulumunu kontrol et

Ücretsiz yapay zekâ bot kontrolü, robots.txt'nin Applebot-Extended'ı ve diğer eğitim belirteçlerini engelleyip engellemediğini arama botlarından ayrı gösteriyor ve sayfadaki nosnippet ya da noai yönergelerini işaretliyor. Applebot-Extended istek yapmadığı için onun kontrolü yalnızca robots.txt üzerinden; diğer botlar için sayfa istekleri, onların kullanıcı aracısıyla bizim sunucumuzdan yapılan benzetimler, yani IP doğrulayan bir güvenlik duvarı gerçek botlara farklı davranabilir. Aynı dosyayı Google'ın nasıl okuduğunu robots.txt test aracı gösteriyor.

Sık sorulan sorular

Applebot-Extended'ı engellersem Siri'den ya da Spotlight'tan çıkar mıyım?

Hayır. Apple, Applebot-Extended'ı engelleyen sayfaların arama sonuçlarında yer alabildiğini ve içeriğinin Spotlight, Siri ve Safari'de bulunabilir kalacağını söylüyor.

Apple noai etiketine uyuyor mu?

Apple'ın Applebot sayfasında geçmiyor. Apple eğitim için Applebot-Extended'ı, yapay zekâ cevapları için nosnippet'i belgeliyor.

Applebot-Extended'ı engellemek geriye dönük işler mi?

Apple'ın sayfası bunu söylemiyor. Belirteci Applebot verisinin nasıl kullanılacağını kontrol eden bir şey olarak tanımlıyor; daha önce kullanılmış veri hakkında bir şey demiyor.

Applebot konusunda Apple'a nereden ulaşırım?

Apple aynı sayfada applebot@apple.com adresini veriyor.