noai Meta Etiketi Yapay Zekâ Eğitimini Durdurur mu? İşe Yarayan Yöntemler

<meta name="robots" content="noai, noimageai">, DeviantArt'ın 2022'de "bu içeriği yapay zekâ eğitiminde kullanma" demek için getirdiği bir işaret. Hiçbir standardın parçası değil, Google'ın desteklediği robots kuralları arasında yok ve OpenAI, Anthropic, Perplexity, Google, Apple ya da Amazon'un bot belgelerinin hiçbirinde geçmiyor. Sayfalarında kalmasının zararı yok; ama büyük yapay zekâ şirketlerinin belgelediği bir yöntemle eğitimden çıkmak istiyorsan onların robots.txt adlarını (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) ve cevap motorları için gerçekten destekledikleri snippet kontrollerini kullan.

noai nereden çıktı?

Kasım 2022'de DeviantArt, sanatçıları yapay zekâ veri setlerinden çıkmayı seçen sayfalara iki yönerge ekledi: noai ve noimageai. TechCrunch o dönem etiketlerin her eserin HTML sayfasına eklendiğini ve DeviantArt'ın güncellenmiş kullanım koşullarının, DeviantArt içeriğiyle eğitim yapan üçüncü tarafların bu etiketi taşıyan sayfaları veri setinden çıkarmasını şart koştuğunu yazdı. DeviantArt diğer içerik üretici platformlarını da benzer korumalar getirmeye çağırdı.

Yani noai, tek bir sitenin kullanım koşullarına dayanan bir platform politikasıydı; yapay zekâ botlarını işleten şirketlerle üzerinde anlaşılmış bir şey değildi. Kendi sayfalarında bulduysan ve sen eklemediysen temana, eklentilerine ve sunucu ya da CDN'deki başlık kurallarına bak.

Kim desteklediğini belgeliyor?

Şirket	Belgesinde ne kullanmanı söylüyor	noai geçiyor mu?
OpenAI	Eğitim için robots.txt'de GPTBot; ChatGPT araması için OAI-SearchBot (OpenAI botları)	Hayır
Anthropic	Eğitim için robots.txt'de ClaudeBot (Anthropic botları)	Hayır
Google	Gemini eğitimi ve grounding için robots.txt'de Google-Extended; AI Overviews dahil Arama için nosnippet ve ilgili kurallar (robots meta etiketi)	Hayır
Apple	Model eğitimi için robots.txt'de Applebot-Extended; Siri ve Arama'daki yapay zekâ cevapları için nosnippet (Applebot hakkında)	Hayır
Amazon	Robots meta noarchive, sayfanın model eğitiminde kullanılmaması anlamına geliyor (Amazonbot)	Hayır
Microsoft Bing	nocache ve noarchive, Bing'in sohbet cevaplarında ve eğitimde kullanımı kontrol ediyor (Bing Webmaster Blog)	Hayır
Common Crawl	robots.txt'de CCBot (CCBot)	Hayır

Google'ın robots meta belgesi desteklediği değerleri sayıyor (all, noindex, nofollow, none, nosnippet, indexifembedded, max-snippet, max-image-preview, max-video-preview, notranslate, noimageindex, unavailable_after) ve aynı listeyi makine tarafından okunabilir bir dosyada da yayımlıyor. noai listede yok.

"Belgede geçmiyor", "yok sayıyor" demek değil. Bir şirket etiketi belgelemeden de dikkate alabilir. Ama bunu doğrulayamazsın; doğrulayamadığın bir tercih bildirimine de güvenmemelisin.

Bunun yerine ne kullanmalı?

İçeriği yapay zekâ eğitiminden uzak tutmak için

Her eğitim adı için robots.txt grupları ekle:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

Bunlar her şirketin eğitim için belgelediği adlar. Hiçbiri aramayı etkilemiyor: OpenAI, Google ve Apple eğitim adlarının aramada yer almaktan ayrı olduğunu ayrı ayrı belirtiyor. Tablonun tamamı yapay zekâ botlarına robots.txt izni rehberinde.

Cevap motorlarının alıntıladığını sınırlamak için

• Google Arama, AI Overviews ve AI Mode dahil: Google'a göre nosnippet, içeriğin AI Overviews ve AI Mode için doğrudan girdi olarak kullanılmasını da engelliyor. Belirli öğeler için data-nosnippet, uzunluğu sınırlamak için max-snippet kullan.
• Apple: nosnippet etiketli veriyi ürünlerindeki yapay zekâ çıktıları için ek bağlam olarak kullanmadığını söylüyor.
• Bing: Microsoft'un 2023 duyurusuna göre nocache sohbet cevaplarını adres, başlık ve snippet ile sınırlıyor; noarchive içeriği sohbet cevaplarından ve eğitimden çıkarıyor. Sayfalar Bing aramasında görünmeye devam ediyor.
• Amazon: noarchive, sayfanın model eğitiminde kullanılmaması anlamına geliyor.

Snippet kurallarının bedeli var: nosnippet normal Google arama sonucundaki metin snippet'ini de kaldırıyor. Site geneline değil, gerçekten korumak istediğin sayfa ya da öğelere uygula.

noai varsa kaldırmalı mıyım?

İstersen kalsın; niyetini gösteriyor ve bedeli yok. Artık ne yaptığını bilmediğin bir eklenti eklediyse ya da aslında yapay zekâ araçlarının içeriğini kullanmasını istiyorsan ve etiket tersini söylüyorsa kaldır. Her iki durumda da yukarıdaki robots.txt kurallarının yerine koyma.

Sayfalarının gerçekte ne gönderdiğine bak. Etiket HTML'de olabilir:

<meta name="robots" content="noai, noimageai">

ya da Kaynağı Görüntüle'de görmeyeceğin bir HTTP başlığında:

curl -sI https://ornek.com/ | grep -i x-robots-tag

Aynı etikette noai'nin yanında noindex görüyorsan sorun daha büyük: noindex sayfaları Google Arama'dan çıkarıyor. Nereden geldiğini yanlışlıkla noindex rehberi gösteriyor.

noai ve AdSense

İlgisiz. AdSense kendi botunu kullanıyor ve noai'yi okumuyor. Yanında unutulmuş bir noindex arama için düzeltilmeye değer; ücretsiz Approvalens taraması incelenmesini istediğin sayfalardaki noindex'i işaretliyor.

Sayfalarını kontrol et

Ücretsiz yapay zekâ bot kontrolü noai, noimageai ve benzeri yönergeleri hem robots meta etiketinde hem X-Robots-Tag başlığında arıyor ve yanına her yapay zekâ botu için robots.txt kurallarını koyuyor; tercih bildirimin botların belgelediği bir işareti kullanıyor mu, görüyorsun. Sayfa istekleri bizim sunucumuzdan, benzetilmiş yapay zekâ kullanıcı aracılarıyla gidiyor; IP aralığına bakan bir güvenlik duvarı gerçek botlara farklı cevap verebilir.

Sık sorulan sorular

noai ChatGPT'nin sitemi okumasını durdurur mu?

OpenAI'nin bot belgesinde geçmiyor. Eğitimden çıkmak için robots.txt'de GPTBot, ChatGPT aramasından çıkmak için OAI-SearchBot kullan.

noimageai farklı mı?

Aynı DeviantArt politikasının görsellere özel çeşidi. Durumu aynı: Google'ın destek listesinde yok, yapay zekâ botlarının belgelerinde geçmiyor.

noai Google sıralamamı düşürür mü?

Google desteklediği değerleri listeliyor ve noai onlardan biri değil; Google'ın belgelerinde Arama'yı etkilediğini düşündüren bir şey yok.

Diğer yeni tercih bildirim yöntemleri ne olacak?

Birkaç öneri var; Cloudflare'in robots.txt'ye eklediği Content-signal satırı bunlardan biri (yönetilen robots.txt). İstersen kullan, ama güvenmeden önce her yapay zekâ şirketinin kendi belgesine bak.