Önemli olan user-agent'lar
- OAI-SearchBot — ChatGPT Search sonuçlarının arkasındaki tarayıcı; GPTBot — OpenAI'ın modellerini eğitmekte kullanılabilecek içerik, ayrı bir tercih; ChatGPT-User — bir kullanıcı sorduğu için, sohbet sırasında sayfa çeker.
- Claude-SearchBot — Anthropic'in arama tarayıcısı; ClaudeBot — eğitim derlemesi; Claude-User — kullanıcı yönlendirmeli getirme. Üç token, üç ayrı karar.
- PerplexityBot — Perplexity'nin arama tarayıcısı (Perplexity bunun temel model eğitimi için kullanılmadığını belirtiyor); Perplexity-User — kullanıcı isteğiyle getirir ve genellikle robots.txt'yi izlemez.
- Googlebot — AI Overviews ve AI Mode'un dayandığı tarayıcı; bu özellikler olağan Arama uygunluğu üzerinden çalışır. Google-Extended ise Gemini/Vertex kullanımı için ayrı bir token'dır ve Arama'ya dahil olmayı etkilemez.
- Applebot-Extended, CCBot (Common Crawl), Bytespider ve benzerleri — ikincil, ama Common Crawl pek çok modelin eğitim verisini besliyor.
Kalıba dikkat edin: OpenAI, Anthropic ve Google eğitim ile arama için ayrı token'lar yayınlıyor ve bunları birbirinden bağımsız tercihler olarak belgeliyor — yani güncel yanıtların dayandığı arama tarayıcısına izin verip eğitim tarayıcısını engelleyebilirsiniz ya da herhangi bir kombinasyonu. Mesele bunu bilerek seçmek.
Tuzak: CDN'iniz robots.txt konuşmadan engelliyor
robots.txt, düzgün davranan tarayıcıların uyduğu nazik bir ricadır. CDN bot koruması ise sunucunuz hiç cevap vermeden isteği durduran bir duvardır — ve kazara engellemelerin çoğu orada olur. Örneğin Cloudflare tek tıkla yapay zekâ tarayıcısı engelleme sundu ve yeni siteler için yapay zekâ botlarını varsayılan olarak engellemeye doğru ilerledi; benzer anahtarlar diğer sağlayıcılarda ve WAF ürünlerinde de var.
- CDN panelinizde yapay zekâ/bot ayarlarına açıkça bakın (Cloudflare: yapay zekâ tarayıcı kontrolleri; diğerleri: bot-fight/WAF kuralları).
- CDN OAI-SearchBot'a 403 dönüyorsa kusursuz bir robots.txt hiçbir şey ifade etmez — üstelik robots.txt'niz bunun hiçbir izini göstermez. (GPTBot'a dönen 403 ayrı bir testtir: eğitim erişimini söyler, ChatGPT Search'ün sayfayı getirip getiremediğini değil.)
- Yönetilen platformlar (bazı site kurucular, bazı hostlar) kendi varsayılanlarıyla gelir — seçtiğinizi hatırlamıyorsanız doğrulayın.
15 dakikalık denetim
- 1. alanadiniz.com/robots.txt dosyasını baştan sona okuyun; yasaklanmış her yapay zekâ user-agent'ını listeleyin.
- 2. Ana sayfanızı bir ARAMA tarayıcısı olarak çekin (curl -A "OAI-SearchBot" https://alanadiniz.com) — alıntılarınızın dayandığı erişim budur; eğitim ajanını yalnızca o hattı önemsiyorsanız ayrıca test edin — normal tarayıcıya 200 dönerken burada 403/1020 alıyorsanız sorun robots.txt değil, CDN duvarıdır.
- 3. Yakın tarihli bir sunucu günlüğü örneğinde arama tarayıcılarını arayın — OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot. Varlıkları = uçtan uca erişim çalışıyor. Haftalarca yoklukları = yukarıda bir şey ters (ya da siteniz taranmak için henüz çok yeni/küçük — sonra tekrar bakın).
- 4. Bot sınıfı başına ne İSTEDİĞİNİZİ yazın (eğitim mi, canlı cevap mı) ve robots.txt ile CDN'i buna uydurun.
- 5. Her CDN, host ya da paket değişikliğinden sonra yeniden doğrulayın — varsayılanlar altınızdan kayar.
Promvia'nın GEO denetimi robots.txt kontrolünü otomatik yapar ve tarayıcı takibi hangi yapay zekâ botlarının size gerçekten ulaştığını gösterir (yalnızca user-agent metnine değil, yayınlanmış IP aralıklarına karşı doğrulanmış olarak — o metinler kolayca taklit edilir). Ama 2. ve 4. adımlar sizde kalan muhakeme kararlarıdır.
Peki engellemeli mi?
Metnin kendisi ürün olan içerik işletmeleri için engellemek meşru bir tercih. Geri kalan herkes için kötü bir kaza: engellenen bir tarayıcı sizi kaynak gösteremez ve cevabı rakiplerinizin sayfaları doldurur. Dürüst çerçeve bir takas — içerik koruması ile yapay zekâ görünürlüğü arasında — ve tek yanlış sonuç, hangi tarafta olduğunuzu bilmemektir.
Sık sorulan sorular
Google-Extended'ı engellemek Google sıralamama zarar verir mi?
Hayır — Google, Google-Extended'ın Googlebot'tan ayrı olduğunu ve Arama sıralamasını etkilemediğini belirtiyor. Yalnızca içeriğinizin Gemini ve ilgili yapay zekâ yüzeylerini besleyip beslemeyeceğini yönetir.
GPTBot olduğunu söyleyen bir bot sitemi zorluyor — gerçek mi?
Belki değil: user-agent metinleri kolayca taklit edilir. Gerçek yapay zekâ tarayıcıları, karşılaştırabileceğiniz IP aralıkları yayınlar. İsme güvenerek değil, IP davranışına bakarak hız sınırlayın.
Tarayıcıların engelini kaldırdım — asistanlar içeriğimi ne kadar sürede görür?
Canlı cevap çekicileri sayfaları günler içinde alabilir. Dizine dayalı cevaplar motorun tarama takvimine göre tazelenir — aktif siteler için genelde günler ile haftalar. Günlüklerinizden doğrulayın, sonra izlediğiniz soruları yeniden kontrol edin.