Deney bayrakları ve A/B testleri

1) Neden ihtiyacınız var

Deney, "gıdayı kırma" riski olmadan dönüşüm ve güvenilirliği artırmanın yönetilebilir bir yoludur. "IGaming'de, bu etkiler: kayıt, para yatırma/çekme, bahisler/ödeme, KYC/AML hunileri, lobi/UX, bonuslar ve dolandırıcılıkla mücadele. Ficheflags hızlı, geri dönüşümlü değişiklikler üretir; A/B testleri - ölçeklendirmeden önce etki kanıtı.

2) Platform ilkeleri

1. Tasarımın güvenliği: TTL'li bayraklar, geri dönüşler ve limitler; Kırmızı SLO'da açılma yasağı.
2. Uyumluluk bilinci: Hassas bayraklar için SoD/4-eyes (ödemeler, RG, PII); Jeo-ikamet verileri.
3. Tek Doğruluk Kaynağı: tüm bayraklar/deneyler - veri olarak (Git/politika deposu).

3) Bayrakların taksonomisi

Release-flags: Sürümlerin yayılmasını kontrol edin (kanarya/rollout/kill-switch).
Deney bayrakları: A/B/n, çok kollu haydut, sıralama için iç içe geçiyor.
Ops bayrakları: özelliklerin bozulması (geçici), anahtarlama sağlayıcıları (PSP/KYC).
Yapılandırma bayrakları: serbest bırakılmayan parametreler (limitler, metinler, katsayılar).
Güvenlik bayrakları: acil durum anahtarları (ihracat PII kapalı, bonus kapaklar).

Her bayrakta: 'sahip', 'risk_sınıfı', 'kapsam (kiracı/bölge)', 'rollout_strategy', 'tl', 'slo_gates', 'denetim'.

4) Platform mimarisi

Bayrak Hizmeti (CDN önbelleği): Çözümü ≤10 -20 ms'de verir; GitOps/pe-consiler'a abone oldum.
Atama Motoru: kararlı hash + tabakalaşma (GEO/marka/cihaz) - kovalar.
Deney Servisi: test kataloğu, MDE/güç hesaplama, SRM/korkuluklar, istatistik.
Exposure Logger: "flag/variant" + olay tuşunun altına düşmenin idempotent günlüğü.
Metrikler API: SLI/KPI/KRI ve Deneme Toplamları (CUPED/Ayarlamalar).
Politika Motoru: SoD/4-eyes, pencereleri dondur, coğrafi kısıtlamalar, SLO kapıları.
Panolar ve Bot: raporlar, uyarılar korkuluk, chatbot'ta kısa komutlar.

5) Veri modeli (basitleştirilmiş)

Flag:'id', 'type', 'variant',' allocation {A: 0. 5,B:0. 5} ',' strata {geo, tenant, device} ', 'restrictions', 'tl', 'kill_switch', 'slo_gates', 'risk_class', 'audit'.
Deney:'id', 'hipotez',' metrics {birincil, ikincil, korkuluklar} ', 'izleyici',' güç ', 'mde',' süre_kuralı ',' sıralı? ',' cuped? ', 'privacy_scope'.

6) Fikirden çıkarım süreci

1. Hipotez: Metrik hedef, risk/uygunluk değerlendirmesi, MDE (minimal fark edilebilir etki).
2. Tasarım: hedef kitle ve tabakalaşma seçimi (GEO/kiracı/cihaz), güç ve sürenin hesaplanması.
3. Randomizasyon ve başlatma: Policy-Engine üzerinden etkinleştirme (SLO yeşil, SoD geçti).
4. İzleme: SRM kontrolleri (randomizasyon bozulması), korkuluklar (hatalar/gecikme/gelir).
5. Analitik: Frekans (t-testi, U-testi) veya Bayesian; Varyans azaltma için CUPED.
6. Çözüm: teşvik/geri alma/yineleme; Bilgi dizinine giriş.
7. Arşivleme: TTL bayrağını kapatma, yapılandırma/kodu sürüm, telemetri temizleme.

7) Amaç ve kovalama

Deterministik: 'bucket = hash (secret_salt + user_id) mod N'.
Tabakalaşma: 'geo, kiracı, cihaz, new_vs_returning' tarafından ayrı ayrı - katmanlar halinde tekdüzelik.
Bir süre için tek tuz: Çarpışmaları/sızıntıları önlemek için kontrollü değişiklikler.
Pozlamalar: İlk hedef metriğe kaydedilir (seçici günlüğü önlemek için).

8) Metrikler ve korkuluklar

Birincil: kayıt/depozito dönüşümü, ARPPU, D1/D7 tutma, KYC hızı, TO lobisi.
İkincil: LCP/JS hataları, p95 "bet ^ settl", otomatik başarı PSP.
Korkuluklar: error_rate, p99 gecikme, SLO-burn-rate, şikayetler/biletler, RG-threshold (sorumlu oyun).
Uzun vadeli: churn, LTV proxes, ters ibrazlar, RG bayrakları.

9) İstatistikler ve karar verme

MDE ve kapasite: önceden tanımlanmış (örn. MDE = + 1. 0 pp, güç = %80, α = %5).
SRM (Örnek Oran Uyumsuzluğu): χ ² - her N dakikada bir test edin; SRM ile - testi duraklatın ve araştırın.
CUPED: kovaryat - test öncesi davranış/temel dönüşüm (varyansı azaltır).
Çokluk düzeltmeleri: Bonferroni/Holm veya kontrol FDR.
Sıralı: grup sıralı/her zaman geçerli p-değerleri (SPRT, mSPRT) - güvenli erken duraklar.
Bayesian: arka iyileşme olasılığı ve beklenen kayıp; Fiyat asimetri hataları ile karar vermek için iyi.
Girişim/gözetleme: sıralı prosedürlerin dışında "bakma ve karar verme" yasağı; Tüm görüşlerin günlükleri.
Parametrik olmayan: Ağır kuyruklar için Mann-Whitney; Stabilite için bootstrap.

10) Gizlilik ve uyumluluk

Etiketlerde ve sergilerde PII olmadan: tokenization, geo-scope storage.
SoD/4-eyes: Ödemeleri/limitleri/PII/sorumlu oyunu etkileyen deneyler.
RG/Compliance tarafından tutulan: Trafiğin bir kısmı her zaman kontrol altındadır (düzenleyici/etik etkileri görmek için).
Veri küçültme - yalnızca gerekli toplamları ve anahtarları saklayın.
WORM denetimi: kim başlattı/değiştirdi/durdurdu, parametreler, sürümler.

11) Entegrasyonlar (operasyonel)

CI/CD & GitOps: veri olarak bayraklar; PR incelemesi, şemaların doğrulanması.
Uyarı: bayrak korkuluk - avto, IC/sahibi bildirimi.
Olay botu:'/flag on/off ','/exp pause/resume','/exp report 'komutları.
Release-gates: sahibi-online olmadan hassas alanlarda aktif deneyler ise bültenleri yasaklar.
Metrikler API: raporlar, SLO kapıları, örnekler (bozulma için trace_id).
Durum sayfası: deneylerin ayrıntılarını yayınlamaz; Sadece kullanılabilirliği etkiliyorsa.

12) Yapılandırmalar (örnekler)

12. 1 Kanarya rulo bayrağı

yaml apiVersion: flag. platform/v1 kind: FeatureFlag metadata:
id: "lobby. newLayout"
owner: "Games UX"
risk_class: "medium"
spec:
type: release scope: { tenants: ["brandA"], regions: ["EU"] }
allocation:
steps:
- { coverage: "5%", duration: "30m" }
- { coverage: "25%", duration: "1h" }
- { coverage: "100%" }
slo_gates: ["slo-green:auth_success","slo-green:bet_settle_p99"]
ttl: "30d"
kill_switch: true

12. Korkuluklar ve CUPED ile 2 Deney A/B

yaml apiVersion: exp. platform/v1 kind: Experiment metadata:
id: "payments. depositCTA. v3"
hypothesis: "The new button increases the deposit-conversion by + 1 pp"
owner: "Payments Growth"
spec:
audience:
strata: ["geo","tenant","device"]
filters: { geo: ["TR","EU"] }
split: { A: 0. 5, B: 0. 5 }
metrics:
primary: ["deposit_conversion"]
secondary: ["signup_to_kyc","auth_success_rate"]
guardrails: ["api_error_rate<1. 5%","latency_p99<2s","slo_burnrate<1x"]
stats:
alpha: 0. 05 power: 0. 8 mde: "1pp"
cuped: true sequential: true operations:
srm_check: "5m"
pause_on_guardrail_breach: true ttl: "21d"

13) Gösterge panoları ve raporlama

Exec: anahtar metriklere göre kaldırma, başarılı deneylerin yüzdesi, ekonomik etki.
Ops/SRE: korkuluk uyarıları, SRM, SLO bozulması, gecikmeler/kuyruklar üzerindeki etki.
Etki alanı: huniler (registration, depozit, bet), GEO/PSP segmentleri/cihazı.
Katalog: Tamamlanmış deneylere dayanan bilgi tabanı (ne denendi, ne işe yaradı/yaramadı, RG/uyumluluk üzerindeki etkileri).

14) KPI/KRI işlevleri

Test Zamanı: Idea - başlangıç (gün).
Test Hızı: takım/alan başına deney/ay.
Başarı Oranı: Pozitif, istatistiksel olarak anlamlı etkiye sahip testlerin oranı.
Korkuluk İhlal Oranı: SLO/hata oranı.
SRM İnsidansı: Randomizasyon bozukluğu olan testlerin oranı.
Documentation Lag: Tamamlanmadan dizin yazmaya kadar geçen süre.
Test Başına Maliyet: $ Telemetri/Yerleşim/Bakım.
Uzun Vadeli Etki: LTV/churn/ters ibrazlar, kazanan varyant kohortlarında değişir.

15) Uygulama Yol Haritası (6-10 hafta)

• Bayrak/deney deposu, şemalar (JSON Şeması), önbellekli temel Bayrak Hizmeti.
• Policy-Engine (SoD/4-eyes, SLO-gates), GitOps ile entegrasyon.

• Atama Motoru (karma + katmanlar), Pozlama Kaydedici, SRM denetimi, korkuluk uyarıları.
• İlk bayrak seti: release + ops (kill-switch), 1-2 güvenli A/B

• İstatistiksel modül: CUPED, frekans ve Bayesian raporları, sıralı kontrol.
• Panolar (Exec/Ops/Domain), incident-bot komutları'/flag ','/exp'.

• Korkuluklarla otomatik geçiş, Release-gates ile entegrasyon, bilgi kataloğu.
• Süreç dokümantasyonu, takım eğitimi (Büyüme/Ödemeler/Oyunlar).

• Çok bölgeli ve jeo-ikamet, FinOps kardinalite sınırları, kaos öğretileri (SRM bozulması).
• Deney sahiplerinin belgelendirilmesi, WORM denetimi.

16) Antipatterns

Kanaryalar ve SLO kapıları olmadan "hepsi bir kerede" bayrakları ekleyin.
Sürüm bayraklarını ve deneysel bayrakları açık hedefler olmadan tek bir varlıkta karıştırın.
Tuz/determinizm olmadan istemci randomizasyonu - SRM/manipülasyon.
Sıralı kontrol olmadan gözetleme; Olaydan sonra kazanan metriği seçin.
Korkuluk eksikliği ve görev sahibi - olaylarda bir artış.
PII'yi sergilerde/etiketlerde saklayın; Jeo-ikametgahı görmezden gelmek.
TTL bayraklarını, "donmuş" dalları ve davranışları kapatmayın.

17) En İyi Uygulamalar (Kısa)

Küçük, açık hipotezler; Test başına bir birincil metrik.
%5-10 trafik ve sıkı korkuluklarla başlayın.
Hemen hemen her zaman CUPED; Bayesian - çözüm hızı önemli olduğunda ve hataların maliyeti asimetrik olduğunda.
Her zaman SRM ve değişmez metrikleri kontrol edin.
Bir analiz sonrası yazın ve bilgi kataloğuna ekleyin.
Sorumlu Oyuna Saygı (RG): Kısa vadeli gelir ölçümleriyle zararlı davranışları teşvik etmeyin.

Toplam

Bayraklar ve A/B testleri değişimin üretim konturudur: veri olarak bayraklar, güvenli randomizasyon ve katı istatistikler, SLO/uyumluluk korkulukları, gözlemlenebilirlik ve denetim. Bu yaklaşım, satıştan hızlı bir şekilde öğrenmenizi, riskleri artırmadan dönüşüm ve kaliteyi artırmanızı, iş ve düzenleyiciler için kanıtlanmış bir etki yaratmanızı sağlar.