Flag di esperimenti e test A/B

1) Perché è necessario

L'esperimento è un modo gestito per migliorare la conversione e l'affidabilità senza correre il rischio di rompere il prode. Questo influisce su: registrazione, deposito/ritiro, scommesse/settle, vortici KYC/AML, lobby/UX, bonus e antifrode. I ficcoflagi forniscono cambiamenti rapidi e reversibili; I test A/B dimostrano l'effetto prima del ridimensionamento.

2) Principi della piattaforma

1. Safety-by-design: bandiere con TTL, ritiri e limiti di copertura Divieto di attivazione per le SLO rosse.
2. Compliance-aware: SoD/4-eyes per bandiere sensibili (pagamenti, RG, PII); geo-residenza dati.
3. Single Source of Truth - Tutti i flag/esperimenti sono come dati (Git/repository criteri).

3) Tassonomia delle bandiere

Flag Release - Gestione dello scatto di versione (canary/rollout/kill-switch).
Bandiere Experience: A/B/n, multi-armed bandit, interleaving per classificazione.
Flag Ops: degrado del fich (temporaneo), commutazione del provider (PSP/KYC).
Flag config - Opzioni senza rilascio (limiti, testi, coefficienti).
Flag Safety: interruttori di emergenza (export PII off, bonus caps).

Ogni bandiera ha «owner», «risk _ class», «scope (tenant/region)», «rollout _ strategy», «ttl», «slo _ gates», «auditit».

4) Architettura della piattaforma

Flag Service (cache CDN) - Consente di decidere per -20 ms. firmato su GitOps/pe-console.
Assignment Engine: hash stabile + strattonamento (GEO/brand/device) di contenitori.
Evident Service: catalogo dei test, calcolo MDE/potenza, SRM/guardrail, statistiche.
Esposure Logger: loga Idempotent «cadere sotto il flag/variante» + chiave evento.
Metrics API: unità SLI/KPI/KRI e esperimenti (CUPED/correzioni).
Policy Engine: SoD/4-eyes, freeze-finestre, geo-vincoli, SLO-gate.
Dashboards & Bot: report, alert guardrail, comandi brevi in chat-bot.

5) Modello di dati (semplificato)

Flag: `id`, `type`, `variants`, `allocation{A:0. 5,B:0. 5}`, `strata{geo,tenant,device}`, `constraints`, `ttl`, `kill_switch`, `slo_gates`, `risk_class`, `audit`.
Experiment: `id`, `hypothesis`, `metrics{primary,secondary,guardrails}`, `audience`, `power`, `mde`, `duration_rule`, `sequential?`, `cuped?`, `privacy_scope`.

6) Processo da idea a output

1. Ipotesi: metrica-obiettivo, rischio/valutazione complessa, MDE (effetto minimo notevole).
2. Design: selezione del pubblico e delle stratificazioni (GEO/tenant/device), calcolo della potenza e della durata.
3. Randomizzazione e partenza: attivazione tramite Policy-Engine (SLO verde, SoD).
4. Monitoraggio: controlli SRM (distorsione randomizzazione), guardrail (errori/latenza/ricavato).
5. Analisi: frequenza (t-test, U-test) o Bayesian; CUPED per ridurre la dispersione.
6. Soluzione: promote/rollback/eterate; scrivere nel catalogo delle conoscenze.
7. Backup: disattivazione del flag TTL, rilascio della configurazione/codice, pulizia della telemetria.

7) Assegnazione e bacchettatura

Determinabilità: 'bucket = hash (secret _ salt + user _ id) moon N'.
Strattonamento: "geo, tenant, device, new _ vs _ returning' → l'uniformità nei livelli.
Sale unico per un periodo di tempo: cambia controllata per evitare conflitti/fuoriuscite.
Esposizioni - Vengono logiche fino alla prima metrica di destinazione (per evitare la logica selettiva).

8) Metriche e guardrail

Primary: conversione registrazione/deposito, ARPPU, ritenzione D1/D7, velocità KYC, lobby CTR.
Secondary: errori LCP/JS, p95 «stavka→settl», auth-success PSP.
Guardrails: error _ rate, p99 latitanza, SLO-burn-rate, lamentele/ticket, soglie RG (gioco responsabile).
A lungo termine: churn, proxe LTV, changebacks, bandiere RG.

9) Statistiche e decisioni

MDE & potenza predefinita (ad esempio, MDE = + 1. 0 p.p., power = 80%, © = 5%).
SRM (Sample Ratio Mismatch): una volta alla N minuti; Con la SRM, facciamo un test e indaghiamo.
CUPED - Cowariato - comportamento precursore/conversione di base (riduce la dispersione).
Correzioni di pluralità: Bonferroni/Holm o controllo FDR.
Sequential: group sequential/always-valid p-values (SPRT, mSPRT) - fermate precoci sicure.
Bayesian: probabilità posteriale di miglioramento ed esposed loss; bene per le decisioni con l'asimmetria del prezzo dell'errore.
Interference/peeking: divieto di «guardare e risolvere» al di fuori delle procedure sequential; I fogli di tutte le visualizzazioni.
Non parametrici: Mann-Whitney per code pesanti; Butstreap per la stabilità.

10) Privacy e compliance

Senza PII nelle etichette e nelle esposizioni: tokenizzazione, geo-scope di storage.
SoD/4-eyes: esperimenti che influenzano i pagamenti/limiti/PII/gioco responsabile.
Holdout RG/Compliance: parte del traffico è sempre in controllo (per vedere gli effetti regolatori/etici).
Data minimization - Memorizza solo le unità e le chiavi necessarie.
Controllo WORM: chi ha avviato/modificato/fermato, impostazioni, versioni.

11) Integrazioni (operative)

CI/CD & GitOps: flag come dati; Ringhiera PR, convalida degli schemi.
Alerting: Flag guardrail→avto, notifica IC/proprietario.
Incidente-bot: comandi «/flag on/off », «/exp pause/resume», «/exp report ».
Release-gates: vietano i rilasci se gli esperimenti attivi in aree sensibili sono privi di owner-online.
API Metrics: report, gate SLO, exemplars (trace _ id per la degradazione).
Status Page: non pubblica i dettagli degli esperimenti; solo se influisce sulla disponibilità.

12) Configurazioni (esempi)

12. 1 Flag di scanalatura

yaml apiVersion: flag.platform/v1 kind: FeatureFlag metadata:
id: "lobby.newLayout"
owner: "Games UX"
risk_class: "medium"
spec:
type: release scope: { tenants: ["brandA"], regions: ["EU"] }
allocation:
steps:
- { coverage: "5%", duration: "30m" }
- { coverage: "25%", duration: "1h" }
- { coverage: "100%" }
slo_gates: ["slo-green:auth_success","slo-green:bet_settle_p99"]
ttl: "30d"
kill_switch: true

12. 2 Esperimento A/B con guardrail e CUPED

yaml apiVersion: exp.platform/v1 kind: Experiment metadata:
id: "payments.depositCTA.v3"
hypothesis: "Новая кнопка повышает депозит-конверсию на +1 п.п."
owner: "Payments Growth"
spec:
audience:
strata: ["geo","tenant","device"]
filters: { geo: ["TR","EU"] }
split: { A: 0.5, B: 0.5 }
metrics:
primary: ["deposit_conversion"]
secondary: ["signup_to_kyc","auth_success_rate"]
guardrails: ["api_error_rate<1.5%","latency_p99<2s","slo_burnrate<1x"]
stats:
alpha: 0.05 power: 0.8 mde: "1pp"
cuped: true sequential: true operations:
srm_check: "5m"
pause_on_guardrail_breach: true ttl: "21d"

13) Dashboard e rapporti

Exec: lift per metriche chiave, percentuale di esperimenti di successo, impatto economico.
Ops/SRE: guardrail-alert, SRM, degrado SLO, impatto su laghe/code.
Domain: vortici (registratsiya→depozit→stavka), segmenti GEO/PSP/dispositivo.
Catalog è una base di conoscenze per gli esperimenti completati (che hanno provato, cosa ha funzionato/no, effetti su RG/Complance).

14) Funzioni KPI/KRI

Time-to-Test: ideya→start (giorni).
Test Velocity: esperimenti/mes per comando/dominio.
Success Rate - Percentuale di test con effetti positivi, statisticamente significativi.
Guardrail Breach Rate: frequenza automatica per SLO/errori.
SRM Insidia: percentuale di test con randomizzazione compromessa.
Documentazione Lag - Tempo dal completamento alla scrittura.
Cost per Test: $ telemetria/calcolo/scorta.
Long-term Impact: modifica LTV/churn/changebacks sulle griglie delle varianti vincitrici.

15) Road map di implementazione (6-10 settimane)

• Repository flag/esperimenti, schema (JSON Schema), Flag Service di base con cache.
• Policy-Engine (SoD/4-eyes, SLO-gate), integrazione con il GitOps.

• Assignment Engine (hash + strati), Exposure Logger, assegno SRM, guardrail-alert.
• Primo set di flag: release + ops (kill-switch), 1-2 A/B.

• Modulo statistico: CUPED, rapporti di frequenza e Bayesian, sequential control.
• Dashboard (Exec/Ops/Domain), comandi incidente-bot '/flag ', '/exp'.

• Auto-ausa di guardrail, integrazione con Release-gates, catalogo di conoscenze.
• Documentazione dei processi, formazione dei comandi (Growth/Payments/Games).

• Multi-regione e geo-residenza, FinOps-limiti di cardinalità, caos-esercitazione (crollo SRM).
• Certificazione dei proprietari di esperimenti, controllo WORM.

16) Antipattern

Includere tutte le bandiere senza canarini o gate SLO.
Mescolare le bandiere release e sperimentali in una sola entità senza obiettivi evidenti.
Randomizzazione «su un cliente» senza sale/determinismo → SRM/manipolazione.
Peeking senza sequential control; Selezionare la metrica vincitrice.
La mancanza di guardrails e di owner di servizio è un aumento degli incidenti.
Conservare il PII nelle esposizioni/etichette; Ignora la residenza.
Non disattivare le bandiere TTL con i rami «spenti» e il comportamento.

17) Best Practices (breve)

Ipotesi piccole e chiare; Una metrica Primary per il test.
Partenza con il 5-10% del traffico e guardrail rigidi.
CUPED quasi sempre; Bayesian - quando conta la velocità di soluzione e il costo degli errori è asimmetrico.
Controllare sempre le metriche SRM e invarianti.
Scrivete post-analisi e aggiungete conoscenze alla directory.
Rispetto del gioco responsabile (RG): non stimolare comportamenti dannosi con metriche di ricavi a breve termine.

Totale

Le bandiere e i test A/B sono il circuito di produzione delle modifiche: flag come dati, randomizzazione sicura e statistiche rigorose, SLO/Complex Guardrails, osservazione e controllo. Questo approccio consente di imparare rapidamente la vendita, aumentando la conversione e la qualità senza aumentare i rischi, con effetti dimostrabili per le aziende e i regolatori.