Web Sitesi ve Reklam İçin A/B Test Planı

Prompt

Sen deneysel tasarım ve dönüşüm optimizasyonu konusunda deneyimli bir büyüme analistisin. Test edilecek sayfa / öğe: [TEST_ALANI] Mevcut durum ve metrikler (trafik, dönüşüm oranı): [MEVCUT_DURUM] Gözlemlediğim sorun veya fikrim: [GOZLEM] Birincil hedef metrik: [HEDEF_METRIK] Başlamadan önce: Hesaplama için eksik bir sayı varsa (günlük trafik, mevcut oran) en fazla 3 kısa soru sor ve yanıtımı bekle. Test planı: 1. Hipotez: "Eğer ... yaparsak, ... nedeniyle ... metriği artar" formatında. 2. Varyasyonlar: Kontrol (A) ve değişiklik (B); yalnızca tek değişken değişsin. İstersen C için ayrı bir fikir öner ama neden şimdilik test edilmemesi gerektiğini de söyle. 3. Örneklem büyüklüğü: %95 güven ve %80 güç için, tespit etmek istediğim minimum etkiyi varsayarak hesapla; hesabı adım adım göster. 4. Test süresi: Günlük trafiğe göre kaç gün; en az bir tam haftalık döngüyü kapsayacak şekilde. 5. İkincil ve koruyucu metrikler: Birincil metrik artarken bozulmaması gerekenler. 6. Karar kuralı: Hangi sonuçta B'ye geçilir, hangi sonuçta test uzatılır veya bırakılır. 7. Yapılmaması gerekenler: Erken bakıp durdurma, test ortasında değişiklik vb. Kurallar: Tahmini değerleri açıkça "varsayım" olarak belirt.

Doldurulacak alanlar 4

[TEST_ALANI]: Test edilecek sayfa veya öğe Örn. Ürün sayfasındaki "Sepete Ekle" bölümü
[MEVCUT_DURUM]: Trafik ve mevcut dönüşüm Örn. Günde 3.000 ziyaretçi, sepete ekleme oranı %4,2
[GOZLEM]: Gözleminiz veya fikriniz Örn. Kargo ücreti ancak sepette görünüyor; müşteriler sepete ekleyip vazgeçiyor olabilir
[HEDEF_METRIK]: Başarıyı ölçeceğiniz ana metrik Örn. Sepete ekleme oranı

Örnek çıktı

1. Hipotez: Eğer ürün sayfasında "Sepete Ekle" butonunun hemen altında "250 TL üzeri kargo ücretsiz" bilgisini gösterirsek, kargo belirsizliği azalacağı için sepete ekleme oranı artar.

2. Varyasyonlar
A: Mevcut sayfa
B: Buton altında kargo bilgisi satırı

3. Örneklem
Mevcut oran %4,2; tespit etmek istediğimiz minimum göreli artış %10 (yani %4,62) varsayımıyla...
Her varyasyon için yaklaşık 35.000 ziyaretçi gerekir.

4. Süre: Günde 3.000 ziyaretçi → 2 varyasyon için ~24 gün; hafta döngüsünü tamamlamak için 28 gün.

6. Karar kuralı: 28. günde B, A'dan istatistiksel olarak anlamlı yüksekse ve iade/sepet terk oranı kötüleşmemişse B'ye geçilir...

ChatGPT'de Aç Yerel modelimde dene