实验标志和A/B测试
1）为什么需要它
实验是一种可控的方法，可以改善转换和可靠性，而没有"破裂"的风险。在iGaming中，这会影响：注册，押金/退款，投注/赌注，KYC/AML漏斗，大堂/UX，奖金和反欺诈。Ficheflagi产生快速，可逆的变化；A/B测试-缩放前效果的证据。
2）平台原则
1.安全设计：带有TTL，回扣和覆盖范围的标志；禁止在红色SLO中包含。
2.Compliance-aware：敏感标志SoD/4-eyes（付款，RG，PII）；地理驻地数据。
3.单一真相源：所有标志/实验-如数据（Git/策略存储库）。
3）国旗分类
发布标志：版本滚动控制（canary/rollout/kill-switch）。
实验标志：A/B/n，多臂乐队，用于排名。
Ops标志：Fich降解（临时）,提供程序切换（PSP/KYC）。
Config标志：不发布参数（限制、文本、系数）。
安全标志：紧急开关（export PII off, bonus caps）。
每个标志都具有："owner"，"risk_class"，"scope（tenant/region）"，"rollout_strategy"，"ttl"，"slo_gates"和"audit"。
4）平台架构
Flag Service （CDN缓存）：提供≤10 -20毫秒的解决方桉；签名为GitOps/pe-consiler。
调配引擎：稳定哈希+分层（GEO/brand/device）→罐。
实验服务：测试目录，MDE/功率计算，SRM/guardrails，统计信息。
Exposure Logger："击中标志/变体"+事件密钥的等效日志。
Metrics API：SLI/KPI/KRI聚合体和实验（CUPED/调整）。
策略引擎：SoD/4-eyes，freeze窗口，地理限制，SLO门。
Dashboards&Bot：报告、Alerta guardrail、聊天机器人中的短命令。
5）数据模型（简化）
Flag: `id`, `type`, `variants`, `allocation{A:0.5,B:0.5}`, `strata{geo,tenant,device}`, `constraints`, `ttl`, `kill_switch`, `slo_gates`, `risk_class`, `audit`.
Experiment: `id`, `hypothesis`, `metrics{primary,secondary,guardrails}`, `audience`, `power`, `mde`, `duration_rule`, `sequential?`, `cuped?`, `privacy_scope`.
6）从想法到结论的过程"
1.假设：度量目标，风险/合规评估，MDE（最低显着影响）。
2.设计：选择受众和分层（GEO/tenant/device），计算功率和持续时间。
3.随机化和启动：通过Policy-Engine （SLO绿色,SoD通过）启用。
4.监视：SRM检查（随机失真），guardrails（错误/潜在性/收益）。
5.分析：频率（t-test，U-test）或Bayesian；CUPED减少方差。
6.解决方案：promote/rollback/iterate；写入知识目录。
7.存档：通过TTL关闭标志,发布配置/代码,清除遥测。
7）分配和包装
确定性："bucket=hash（secret_salt+user_id）mod N"。
分层：分别通过'geo, tenant, device, new_vs_returning' →层均匀性。
单盐周期：可控制变化以避免冲突/泄漏。
曝光：在第一个目标度量之前进行计算（以避免选择性计算）。
8）度量标准和guardrails
初级：注册/存款转换，ARPPU，D1/D7保留，KYC速度，CTR游说。
第二：LCP/JS错误，p95 "stavka→settl"，成功的PSP。
Guardrails：error_rate，p99潜伏期，SLO-burn-rate，投诉/滴答作响，RG阈值（负责任的游戏）。
长期：churn，LTV-proxe，chargebacks，RG标志。
9）统计和决策
MDE&Power：预定（例如MDE=+1。0 p.p., power=80%, α=5%）。
SRM （Sample Ratio Mismatch）： 每N分钟χ ²次测试；SRM-暂停测试并进行调查。
CUPED：协变量-测试前行为/基本转换（减少方差）。
复数校正：Bonferroni/Holm或控制FDR。
序列：组序列/alway-valid p values（SPRT，mSPRT）-安全的早期停止。
Bayesian：周期后改善和暴露失败的可能性；有利于做出错误价格不对称的决定。
干扰/peeking：禁止在序列化程序之外进行"查看和解决"；所有观点的记录。
非参数性：重尾巴的曼惠特尼；butstrap for可持续性。
10）隐私和合规性
标签和曝光中没有PII：标记化，地球储存标记。
SoD/4-eyes：影响付款/限额/PII/负责任游戏的实验。
通过RG/Compliance进行控制：部分流量始终处于控制状态（以查看监管/道德影响）。
数据最小化：仅存储所需的聚合和密钥。
WORM审核：谁启动/修改/停止、设置、版本。
11）集成（运营）
CI/CD＆GitOps：标志为数据；公关审查，方案验证。
Alerting： guardrail→avto-旗杆,IC/所有者通知.
事件机器人：命令"/flag on/off"，"/exp pause/resume"，"/exp报告"。
Release-gates：如果在没有所有者在线的情况下在敏感区域进行主动实验，则禁止发布。
Metrics API：报告，SLO门，exemplars（降级trace_id）。
状态页面：不发布实验详细信息；仅当影响可用性时。
12）配置（示例）
12.1旗以金丝雀模式滚动
yaml apiVersion: flag.platform/v1 kind: FeatureFlag metadata:
id: "lobby.newLayout"
owner: "Games UX"
risk_class: "medium"
spec:
type: release scope: { tenants: ["brandA"], regions: ["EU"] }
allocation:
steps:
- { coverage: "5%", duration: "30m" }
- { coverage: "25%", duration: "1h" }
- { coverage: "100%" }
slo_gates: ["slo-green:auth_success","slo-green:bet_settle_p99"]
ttl: "30d"
kill_switch: true12.2 A/B实验与guardrails和CUPED
yaml apiVersion: exp.platform/v1 kind: Experiment metadata:
id: "payments.depositCTA.v3"
hypothesis: "Новая кнопка повышает депозит-конверсию на +1 п.п."
owner: "Payments Growth"
spec:
audience:
strata: ["geo","tenant","device"]
filters: { geo: ["TR","EU"] }
split: { A: 0.5, B: 0.5 }
metrics:
primary: ["deposit_conversion"]
secondary: ["signup_to_kyc","auth_success_rate"]
guardrails: ["api_error_rate<1.5%","latency_p99<2s","slo_burnrate<1x"]
stats:
alpha: 0.05 power: 0.8 mde: "1pp"
cuped: true sequential: true operations:
srm_check: "5m"
pause_on_guardrail_breach: true ttl: "21d"13） Dashbords和报告
高管：在关键指标，成功实验的百分比，经济影响上升。
Ops/SRE：guardrail-alerta，SRM，SLO降解，对泻湖/队列的影响。
域：漏斗（registratsiya→depozit→stavka），GEO/PSP段/设备。
Catalog：已完成实验的知识库（尝试了对RG/合规性的效果，什么有效/不有效）。
14） KPI/KRI功能
时间到测试：ideya→start（天）。
Test Velocity：每个命令/域的实验/月。
成功率：具有阳性，具有统计学意义的测试比例。
Guardrail突破率：通过SLO/错误自动关闭的频率。
SRM事件：随机化受损测试的比例。
Documentation Lag：从完成到写入目录的时间。
按次计费：$遥测/计算/护送。
长期冲击：在获胜选项的队列上更改LTV/churn/chargebacks。
15）实施路线图（6-10周）
奈德。1–2:
标志/实验存储库，电路（JSON计划），带缓存的基本旗服务。
策略引擎（SoD/4-eyes，SLO门），与GitOps集成。
奈德。3–4:
分配引擎（哈希+平流），曝光记录器，SRM支票，guardrails-alerta。
第一组标志：release+ops （kill-switch）, 1-2安全A/B。
奈德。5–6:
统计模块：CUPED，频率和Bayesian报告，序列控制。
Dashbords（Exec/Ops/Domain），事件机器人命令"/flag"，"/exp"。
奈德。7–8:
通过guardrails自动保存，与Release-gates的集成，知识目录。
流程文档，团队培训（增长/支付/游戏）。
奈德。9–10:
多区域性和地理居民，FinOps基数限制，混沌教义（SRM破坏）。
实验所有者认证，WORM审核。
16）反模式
包括没有金丝雀和SLO门的"所有人都立即"标志。
将释放标志和实验标志混合为一个实体，而没有明确的目标。
无盐/决定论的"客户"随机化→ SRM/操纵。
没有顺序控制的Peeking；事后选择获胜指标。
缺少guardrails和owner值班→事件增加。
将PII存储在博览会/标签中；忽略了地理居民。
不要在TTL →"悬停"的分支和行为壁板上关闭标志。
17）最佳实践（简短）
小而明确的假设；每个测试一个主要指标。
以5-10％的流量和严格的护栏开始。
CUPED几乎总是如此；Bayesian-当决策速度重要且错误成本不对称时。
始终检查SRM和不变度量。
编写后分析并添加到知识目录中。
尊重负责任的游戏（RG）：不要用短期收入指标刺激有害行为。
结果
标志和A/B测试是更改的生产轮廓：标志为数据，安全随机化和严格的统计，SLO/合规性，可观察性和审计性。这种方法允许快速的销售学习，在不增加风险的情况下提高转换和质量，对企业和监管机构产生可证明的影响。