Synag baýdaklary we A/B synaglary

1) Bu näme üçin zerur?

Synag - "doňdurma döwmek" howpy bolmazdan, öwrülişigi we ygtybarlylygy gowulandyrmagyň dolandyrylýan usuly. iGaming-de bu aşakdakylara täsir edýär: hasaba alynmak, depozit/aýyrmak ,/settl, KYC/AML-huni, lobbi/UX, bonuslar we antifrod. Fiçeflaglar çalt, öwrülip bolýan üýtgeşmeleri berýär; A/B-synaglary - masştabdan öň täsiriň subutnamasy.

2) Platformanyň ýörelgeleri

1. Safety-by-design: TTL, gaýdyşlar we gurşaw çäkleri bolan baýdaklar; gyzyl SLO-larda goşulmagy gadagan etmek.
2. Compliance-aware: duýgur baýdaklar üçin SoD/4-eyes (tölegler, RG, PII); maglumatlaryň geo-rezidensiýasy.
3. "Single Source of Truth": ähli baýdaklar/synaglar - maglumatlar hökmünde (Git/syýasatçynyň ammary).

3) Baýdaklaryň taksonomiýasy

Release-baýdaklar: wersiýalaryň aýlanmagyny dolandyrmak (canary/rollout/kill-switch).
Experiment-baýdaklar: A/B/n, multi-armed bandit, interleaving.
Ops-baýdaklar: pese gaçmak (wagtlaýyn), üpjün edijileri üýtgetmek (PSP/KYC).
Config-baýdaklar: goýberilmeýän parametrler (çäkler, tekstler, koeffisiýentler).
Howpsuzlyk baýdaklary: gyssagly açarlar (export PII off, bonus caps).

Her baýdakda: 'owner', 'risk _ class', 'scope (tenant/region)', 'rollout _ strategy', 'ttl', 'slo _ gates', 'audit' bar.

4) Platformanyň arhitekturasy

Flag Service (CDN-kesh): 10-20 ms ≤ çözgüt berýär; GitOps/pe-consailler.
Assignment Engine: Durnukly heş + stratifikasiýa (GEO/brand/device) → baketalar.
Experiment Service: synag katalogy, MDE/kuwwaty hasaplamak, SRM/guardrails, statistika.
"Exposure Logger": "baýdagyň aşagyna düşmek/wariant" + wakanyň açary.
Metrics API: SLI/KPI/KRI we synag agregatlary (CUPED/düzedişler).
Policy Engine: SoD/4-eyes, freeze-penjireler, geo-çäklendirmeler, SLO-geýtlar.
Dashboards & Bot: hasabatlar, guardrail aladalary, chatbotdaky gysga toparlar.

5) Maglumatlaryň nusgasy (ýönekeýleşdirilen)

Flag: `id`, `type`, `variants`, `allocation{A:0. 5,B:0. 5}`, `strata{geo,tenant,device}`, `constraints`, `ttl`, `kill_switch`, `slo_gates`, `risk_class`, `audit`.
Experiment: `id`, `hypothesis`, `metrics{primary,secondary,guardrails}`, `audience`, `power`, `mde`, `duration_rule`, `sequential?`, `cuped?`, `privacy_scope`.

6) "Pikirden çykarylýança" prosesi

1. Gipoteza: metrika-maksat, töwekgelçilik/complayens-baha bermek, MDE (iň az görnükli täsir).
2. Dizaýn: tomaşaçylary we gatlaklary saýlamak (GEO/tenant/device), kuwwatyny we dowamlylygyny hasaplamak.
3. Randomizasiýa we başlamak: Policy-Engine (SLO ýaşyl, SoD geçdi) arkaly açmak.
4. Gözegçilik: SRM-barlaglar (randomizasiýa ýoýulmagy), guardrails (ýalňyşlyklar/gizlinlik/girdeji).
5. Analitika: ýygylyk (t-test, U-test) ýa-da Baýesian; Dispersiýany azaltmak üçin CUPED.
6. Çözgüt: promote/rollback/iterate; bilim katalogyna ýazmak.
7. Arhiwlemek: TTL boýunça baýdagy öçürmek, konfigurasiýany/kody çykarmak, telemetriýany arassalamak.

7) Maksady we baketlemek

Determinikligi: 'bucket = hash (secret_salt + user_id) mod N'.
Stratifikasiýa: aýratyn 'geo, tenant, device, new_vs_returning' → gatlaklarda birmeňzeşlik.
Döwür üçin ýekeje duz: gapma-garşylyklaryň/syzmalaryň öňüni almak üçin gözegçilik astynda üýtgeýär.
Ekspozisiýalar: ilkinji maksat metrikasyna çenli loglar (saýlama logirlemekden gaça durmak üçin).

8) Metrikler we guardrails

Esasy: hasaba alyş/goýum öwrülişigi, ARPPU, D1/D7 saklamak, KYC tizligi, CTR lobbi.
Secondary: LCP/JS-ýalňyşlyklar, p95 "jedel → settl", auth-success PSP.
Guardrails: error_rate, p99 gizlinlik, SLO-burn-rate, şikaýatlar/biletler, RG-bosagaly (jogapkär oýun).
Uzak möhletli: churn, LTV-prokse, chargebacks, RG-baýdaklar.

9) Statistika we çözgütleri kabul etmek

MDE & kuwwaty: öňünden kesgitlenildi (mysal üçin MDE = 1. 0 p.p., power = 80%, α = 5%).
SRM (Sample Ratio Mismatch): χ ² - N minutda bir gezek; SRM-de - synagy duruzýarys we derňeýäris.
CUPED: kowariat - synagdan öňki hereket/esasy öwrülişik (dispersiýany azaldýar).
Köplügi düzetmek: Bonferroni/Holm ýa-da FDR gözegçilik.
Sequential: group sequential/always-valid p-values (SPRT, mSPRT) - howpsuz irki duralgalar.
Baýesian: gowulaşmak we ekspected loss; ýalňyşlygyň bahasynyň asimmetriýasy bilen karar bermek üçin gowy.
Interference/peeking: sequential proseduralarynyň daşynda "seretmek we çözmek" gadaganlygy; Ähli tomaşa ýazgylary.
Parametrik däl: Agyr guýruklar üçin Mann-Whitney; durnuklylyk üçin butstrap.

10) Gizlinlik we gabat gelmek

Belliklerde we ekspozisiýalarda PII bolmasa: tokenizasiýa, geo-skope saklamak.
SoD/4-eyes: töleglere/çäklendirmelere/PII/jogapkär oýna täsir edýän synaglar.
RG/Compliance boýunça Holdout: traffigiň bir bölegi hemişe gözegçilik astynda saklanýar (kadalaşdyryjy/etiki täsirleri görmek üçin).
Data minimization: diňe zerur agregatlary we açarlary saklamak.
WORM barlagy: kim başlady/üýtgetdi/togtatdy, parametrleri, wersiýalary.

11) Integrasiýa (operasiýa otaglary)

CI/CD & GitOps: baýdaklar maglumat hökmünde; PR-revyu, shemalary tassyklamak.
Alerting: guardrail → baýdakyň awto-arakesmesi, IC/eýesiniň habarnamasy.
Waka-bot: '/flag on/off ', '/exp pause/resume', '/exp report '.
Release-gates: owner-on-line bolmasa duýgur ýerlerde işjeň synaglar geçirilse, goýberilmegi gadagan edýär.
Metrics API: hasabatlar, SLO-geýtlar, exemplars (pese gaçmak üçin trace_id).
Status-sahypa: synaglaryň jikme-jikliklerini çap etmeýär; diňe elýeterlilige täsir eden ýagdaýynda.

12) Konfigurasiýalar (mysallar)

12. 1 Kanareýa shemasy boýunça togalanmagyň baýdagy

yaml apiVersion: flag. platform/v1 kind: FeatureFlag metadata:
id: "lobby. newLayout"
owner: "Games UX"
risk_class: "medium"
spec:
type: release scope: { tenants: ["brandA"], regions: ["EU"] }
allocation:
steps:
- { coverage: "5%", duration: "30m" }
- { coverage: "25%", duration: "1h" }
- { coverage: "100%" }
slo_gates: ["slo-green:auth_success","slo-green:bet_settle_p99"]
ttl: "30d"
kill_switch: true

12. 2 Guardrails we CUPED bilen A/B synagy

yaml apiVersion: exp. platform/v1 kind: Experiment metadata:
id: "payments. depositCTA. v3"
hypothesis: "The new button increases the deposit-conversion by + 1 pp"
owner: "Payments Growth"
spec:
audience:
strata: ["geo","tenant","device"]
filters: { geo: ["TR","EU"] }
split: { A: 0. 5, B: 0. 5 }
metrics:
primary: ["deposit_conversion"]
secondary: ["signup_to_kyc","auth_success_rate"]
guardrails: ["api_error_rate<1. 5%","latency_p99<2s","slo_burnrate<1x"]
stats:
alpha: 0. 05 power: 0. 8 mde: "1pp"
cuped: true sequential: true operations:
srm_check: "5m"
pause_on_guardrail_breach: true ttl: "21d"

13) Daşbordlar we hasabatlylyk

Exec: esasy metrikler boýunça lift, üstünlikli synaglaryň göterimi, ykdysady täsiri.
Ops/SRE: guardrail-alertler, SRM, SLO-nyň zaýalanmagy, laglara/nobatlara täsiri.
Domain: huniler (hasaba alyş → goýum → nyrh), GEO/PSP/enjam segmentleri.
Catalog: tamamlanan synaglar boýunça bilim bazasy (näme synanyşdy, näme işledi/işlemedi, RG/utgaşma täsirleri).

14) KPI/KRI funksiýalary

Wagt-to-Test: pikir → başlangyç (günler).
Test Velocity: Synag/Team/Domain.
Success Rate: oňyn, statistik taýdan möhüm täsir edýän synaglaryň paýy.
Guardrail Breach Rate: SLO/ýalňyşlyklar boýunça awtopauzyň ýygylygy.
SRM Incidence: randomizasiýa bilen synaglaryň paýy.
Documentation Lag: Tamamlamakdan kataloga ýazmak üçin wagt.
Cost per Test: $ telemetriýa/hasaplamalar/ýoldaşlyk.
Long-term Impact: LTV/churn/chargebacks-yň ýeňiji wariantlaryň kogortlarynda üýtgemegi.

15) Durmuşa geçirmegiň ýol kartasy (6-10 hepde)

• Baýdaklaryň/synaglaryň ammary, shemalar (JSON Schema), keş bilen esasy Flag Service.
• Policy-Engine (SoD/4-eyes, SLO-oýunlar), GitOps bilen integrasiýa.

• "Assignment Engine", "Exposure Logger", "SRM-check", "guardrails-alerts".
• Baýdaklaryň birinji toplumy: release + ops (kill-switch), 1-2 howpsuz A/B.

• Statistika moduly: CUPED, ýygylyk we Baýesian hasabatlary, sequential-gözegçilik.
• Daşbordlar (Exec/Ops/Domain), waka-bot buýruklary '/flag ', '/exp'.

• Guardrails awtopauza, Release-gates bilen integrasiýa, bilim katalogy.
• Amallary resminamalaşdyrmak, toparlary taýýarlamak (Growth/Payments/Games).

• Köp sebit we geo-rezidensiýa, FinOps-kardinallyk çäkleri, bulam-bujarlyk (SRM-iň bozulmagy).
• Synag eýelerini tassyklamak, WORM barlagy.

16) Antipatternler

"Hemmeler üçin birbada" baýdaklary kanareýkalarsyz we SLO geýtlersiz açyň.
Release-baýdaklary we eksperimental baýdaklary aç-açan maksatsyz bir zat bilen garyşdyryň.
Duzsyz/determinizmsiz "müşderide" randomizasiýa → SRM/manipulýasiýa.
Sequential-gözegçiliksiz peeking; faktdan soň ýeňiji metrikany saýlamak.
Guardrails we owner-nobatçynyň ýoklugy → hadysalaryň köpelmegi.
PII-ni ekspozisiýalarda/belliklerde saklamak; geo-rezidensiýanyň ignory.
TTL → "asylan" şahalar we hereketler boýunça baýdaklary öçürmäň.

17) Best Practices (gysgaça)

Kiçi, anyk çaklamalar; Synag üçin bir primary-metrik.
5-10% traffik we berk gardrails bilen başlamak.
CUPED hemişe diýen ýaly; Bayesian - çözmegiň tizligi we ýalňyşlyklaryň bahasy asimmetrik bolanda.
SRM we üýtgeşik metrikleri hemişe barlaň.
Post-analiz ýazyň we bilim katalogyna goşuň.
Jogapkär oýna hormat goýuň (RG): gysga möhletli girdeji ölçegleri bilen zyýanly hereketleri höweslendirmäň.

Jemi

Baýdaklar we A/B synaglary üýtgeşmeleriň önümçilik konturydyr: baýdaklar maglumatlar, howpsuz randomizasiýa we berk statistika, SLO/complayens-guardrails, gözegçilik we audit hökmünde. Şeýle çemeleşme, töwekgelçilikleri ýokarlandyrmazdan, işewürlik we düzgünleşdirijiler üçin subut edilip bilinjek täsir bilen öwrülişigi we hilini ýokarlandyrmak arkaly önümçilikde çalt öwrenmäge mümkinçilik berýär.