Kaç soru takip etmelisiniz? Yapay zekâ görünürlüğünde örneklem büyüklüğü ve güven aralığı

Görünürlük oranı bir orantıdır, orantıların da aralığı vardır

Yapay zekâ görünürlük araçlarının çoğu dönem başına tek bir sayı verir: cevabında markanızın adı geçen takipli soruların payı. İstatistik açısından bu bir orantıdır, n sorudan k cevap; bir örneklemde ölçülen her orantının da uyumlu olduğu bir gerçek değer aralığı vardır. Bu rehber, insanların gerçekten takip ettiği soru sayıları için o aralığı veriyor ve sayının aralığı nasıl değiştirdiğini gösteriyor.

• n soru sayısıdır (bir bölüm aksini söylemedikçe her soruya bir cevap); k bu cevaplardan kaçında adınızın geçtiğidir.
• Aralık, süreklilik düzeltmesi olmadan %95 Wilson skor aralığıdır. Promvia panelinin aralıkla yazdığı oranlarda kullandığı yöntem de budur. Promvia bizim ürünümüzdür.
• "±X puan", aralık genişliğinin yarısı demektir. Wilson aralığı gözlenen oranın etrafında simetrik değildir; bu yüzden sınırlar da veriliyor.
• Aralık örnekleme gürültüsünü kapsar: hangi soruları seçtiğiniz ve hangi cevabı aldığınız. Zaten iyi olduğunuz sorulara kayan bir soru setini düzeltemez.

Ders kitabındaki formül (Wald aralığı, p ± 1,96·√(p(1−p)/n)) yerine Wilson kullanmamızın sebebi: küçük sayılarda ders kitabı formülü bozulur. 20 soruda 0 anılma için %0 ile %0 verir, yani tam uyarı gereken örneklemde hiç genişliği olmayan bir aralık; Wilson %0 ile %16,1 verir. 20'de 1 için −%4,6 ile %14,6 verir, yani negatif bir oran; Wilson %0,9 ile %23,6 verir.

Tablo: 5 ile 220 soru arası

Aşağıdaki havuz büyüklükleri, Promvia planlarının 7 Ekim 2026 itibarıyla takipli soru havuzları (Ücretsiz 5, Starter 20, Pro 80, Ajans 220) ve herkese açık AI Kaynak Endeksi panelimizin büyüklüğü olan 40. Her biri için iki oran: var olan ama baskın olmayan bir marka için tipik bir oran olan %20 ve aralığın en geniş olduğu %50.

• 5 soru: %20 (5'te 1) → %3,6 ile %62,4, ±29,4 puan. %50 → %17,0 ile %83,0, ±33,0.
• 20 soru: %20 (20'de 4) → %8,1 ile %41,6, ±16,8 puan. %50 → %29,9 ile %70,1, ±20,1.
• 40 soru: %20 (40'ta 8) → %10,5 ile %34,8, ±12,1 puan. %50 → %35,2 ile %64,8, ±14,8.
• 80 soru: %20 (80'de 16) → %12,7 ile %30,0, ±8,7 puan. %50 → %39,3 ile %60,7, ±10,7.
• 220 soru: %20 (220'de 44) → %15,2 ile %25,8, ±5,3 puan. %50 → %43,4 ile %56,6, ±6,6.

Soru sayısını dörde katlamak aralığı kabaca yarıya indirir: %20'de 20 sorudan 80 soruya geçmek ±16,8 puanı ±8,7 puana indirir. 5'ten 20 soruya geçişin bu kadar çok, 80'den 220'ye geçişin daha az şey kazandırması bu karekök kuralından.

Belirli bir hata payı için kaç soru

Tersinden: %95 Wilson aralığı hata payından geniş olmayan, her birine bir cevap düşen en küçük soru sayısı. En kötü durum %50'dir; oranınızı henüz bilmiyorsanız o sayıya göre plan yapın.

• ±20 puan: %50'de 21, %20'de 14 soru.
• ±15 puan: %50'de 39, %20'de 26 soru.
• ±10 puan: %50'de 93, %20'de 60 soru.
• ±5 puan: %50'de 381, %20'de 245 soru.

Ders kitabı formülü bu hata paylarında biraz daha fazlasını ister: %50'de ±10 için 97, ±5 için 385. Peec AI'ın aynı konudaki yazısındaki "yaklaşık 100" ve "neredeyse 400" bunlardır (aşağıda alıntılandı). İki yöntem kenarlardan uzakta uyuşur; küçük sayılarda ve %0 ya da %100'e yakın oranlarda ayrışır.

Bir iki soruluk değişim gürültüdür

İnsanların tepki verdiği sayı, bir dönemden ötekine olan değişimdir. İki oran arasındaki farkın da kendi aralığı vardır ve her iki oranınkinden geniştir. Newcombe yöntemini kullanıyoruz: aralığı iki Wilson aralığından kurar ve iki dönemi bağımsız örneklemler olarak ele alır. Aynı sorular iki kez ölçüldüğünde bu temkinli bir varsayımdır: soruların çoğu iki dönemde de aynı sonucu veriyorsa eşleştirilmiş bir karşılaştırma daha dar çıkabilir.

• 20 soru, sizi anan cevaplar 4 → 5 (%20 → %25): değişim +5 puan, %95 aralık −20,6 ile +29,9.
• 20 soru, 4 → 6 (%20 → %30): +10 puan, aralık −16,6 ile +34,9.
• 20 soru, 4 → 8 (%20 → %40, oran ikiye katlandı): +20 puan, aralık −8,2 ile +44,5. Hâlâ değişim yok sonucuyla uyumlu.
• 80 soru, 16 → 18: +2,5 puan, aralık −10,2 ile +15,1. 16 → 24: +10 puan, aralık −3,4 ile +23,0.
• 220 soru, 44 → 50: +2,7 puan, aralık −4,9 ile +10,4.

%20'den başlayınca, aralığı sıfırı aşan en küçük artış 20 soruda 4 → 10 (+30 puan), 40 soruda 8 → 17 (+22,5), 80 soruda 16 → 28 (+15) ve 220 soruda 44 → 62 (+8,2). Bunların altındaki bir değişimin dürüst okuması, iki yönde de "ölçülebilir bir değişim yok"tur.

Tekrarlanan koşular ve birleştirilen dönemler aralığı bir yere kadar daraltır

Yapay zekâ motorları her seferinde aynı cevabı vermez. AI Kaynak Endeksimizde altı motorun her biri 40 sabit sorunun her birini her koşuda bir kez cevaplıyor; bir motorun bir soru için kaynak gösterdiği alan adlarının %48,0'ı bir sonraki koşuda aynı soru için yine gösterildi (6.947'de 3.335; %95 aralık %46,8 ile %49,2). Aynı soruların ikinci koşusu birincinin kopyası olmaktan çok uzak; yani soruları yeniden çalıştırmak ya da birkaç dönemi birleştirmek bilgi ekler.

Yeni sorular kadar eklemez: aynı soruya verilen cevaplar birbiriyle ilişkilidir. n sorunun R koşusu ve koşudan koşuya ρ korelasyonuyla, koşular n·R / (1 + (R − 1)·ρ) bağımsız cevap değerindedir. Marka anılmaları için ρ'yu ölçmedik; bu yüzden %20 oranlı 20 soru için alt ve üst sınırları veriyoruz:

• 1 koşu: ρ ne olursa olsun ±16,8 puan.
• 4 koşu (80 cevap): her cevap bağımsız olsaydı ±8,7 (80 soruyla aynı), ρ = 0,5'te ±13,5, her tekrar bir kopya olsaydı ±16,8.
• 8 koşu (160 cevap): bağımsızsa ±6,2, ρ = 0,5'te ±12,8, kopyaysa ±16,8.

ρ = 0,5'te 4 koşudan 8 koşuya geçmek hata payını ±13,5'ten ±12,8 puana indirir; 20 sorudan 80 soruya geçmek ±8,7'ye indirir. Koşular ve sorular ayrıca farklı soruları cevaplar. Daha fazla koşu, bu belirli soruların adınızı ne sıklıkla andığını sabitler. Bunun gibi soruların ne sıklıkla anacağını yalnızca daha fazla soru sabitler.

Markalı ve markasız soruları ayırın

Markanızın adını içeren bir soru ("Acme iyi mi?") neredeyse her seferinde sizden söz eden bir cevap alır; bu da sizi tanımayan alıcıların sizden haberdar olup olmayacağı konusunda pek bir şey söylemez. Tek bir orana karıştırılınca markalı sorular oranı şişirir, aralık ise aşağı yukarı aynı genişlikte kalır.

• 20 soru, 5'i markalı ve 5'inde de adınız geçiyor, markasız 15 sorunun da 3'ünde: birleşik oran 20'de 8, %40 (%21,9 ile %61,3).
• Yalnızca markasız oran: 15'te 3, %20 (%7,0 ile %45,2). Birleşik rakamın yarısı, daha az soruyla.
• Yalnızca markalı oran: 5'te 5, %100 (%56,6 ile %100). Beş soru tavanda bile pek bir şey söyleyemez.

İkisini ayrı raporlayın ve markasız seti ihtiyacınız olan hata payına göre boyutlandırın; değiştirmeye çalıştığınız oran odur. Promvia paneli markanızın adını içeren soruları ses payı rakamının dışında bu yüzden tutar.

Diğer araçlar soru sayısı hakkında ne diyor

Otterly'nin aralıkları karekök kuralının öngördüğü gibi daralıyor: 10 sorudaki 32 puanlık aralığı √(10/n) ile ölçeklemek 50 soruda 14,3, 100 soruda 10,1 puan veriyor; Otterly 13 ve 9 ölçmüş. Alt kümeleri 30 günlük bir pencerede 320 soruluk sabit bir havuzdan geldiği için uyum noktası noktasına değil, biçim olarak. Dördü içinde aralık veren tek yazı Peec'inki ve Wald yaklaşımını kullanıyor; yazarının kendisi bunun %0 ya da %100'e yakın oranlarda geçerli olmadığını belirtiyor, küçük markaların oranları da tam orada duruyor. SE Ranking'in ve Promptwatch'ın sayıları aralık eklenmemiş başlangıç noktaları. Yukarıdaki tablolar bu sayıların herhangi birine bir aralık koyuyor.

Bununla ne yapmalı

• Raporladığınız her oranın yanına aralığını ve arkasındaki sayıları yazın (yalnızca "%20" değil, "20'de 4").
• Önce ihtiyacınız olan hata payına karar verin, sonra soru setini boyutlandırın: en kötü durumda ±15 puan için 39 soru, ±10 için 93.
• 20 soruluk bir sette bir iki cevaplık dönemden döneme değişimi eğilim diye raporlamayın. Sonuç çıkarmadan önce dört koşuluk pencereleri ya da aynı soruların birkaç koşusunu karşılaştırın.
• Markalı ve markasız soruları ayrı tutun ve keşfi ölçen markasız seti boyutlandırın.
• Bir set birkaç koşuyu geçtikten sonra, koşu eklemeden önce soru ekleyin: yeni sorular aralığı daha hızlı daraltır ve neyi tarif ettiğini genişletir.

Promvia'nın nasıl örneklediği, nasıl saydığı ve aralıkları nasıl yazdığı metodoloji sayfasında. Bir soru setini baştan kurmak için yapay zekâ bahsedilmelerini takip etme rehberine; kaynak gösterilen sitelerin kendilerinin dönemden döneme ne kadar değiştiği için bir yapay zekâ alıntısının ne kadar yaşadığına bakın.

Sık sorulan sorular