A/B ստացիոնար թեստեր

1) Ինչո՞ ւ փորձարկել հիբրիդային սցենարները

Մեծացնել հաստատումը (AR) և նվազեցնել հրաժարումները (DR)։

Նվազեցնել արժեքը 'take-rate (inter.ru/scheme/markup/fixed) և cost-per-approval։

Նվազեցնել ռիսկը 'ավելի քիչ աղյուսներ/ֆրոդներ նույն հաստատություններում։

Կայունություն 'ընտրել պրովայդեր/3DS ռազմավարություն/routing հատուկ GEO/BIN/մեթոդներ։

2) Փորձի դիզայնը

2. 1. Ռանդոմիզացիայի յունիտ

User-level (խորհուրդ է տրվում), մեկ օգտագործողի բոլոր փորձերը մտնում են մեկ ճյուղի մեջ, որը չունի 3DS/token խառնուրդ։

BIN-level: Երբ թեստը ռոտինգի մասին է։ cross-internationals ռիսկ։

Order/Attempt-level: թույլատրելի է փոքր UI փորձարկումների համար (օրինակ, սխալի պատճենը), անցանկալի է ռոուտինգի/3DS համար։

2. 2. Ստրատիֆիկացիա (մինչև randomization)

Ապահովագրեք 'GEO խաղացողը, issuer country/BIN6, վճարման մեթոդը, ալիքը (web/app), սեկտորը, ռիսկի սկորը։ Սա կնվազեցնի դիսպոզիան և MPM ռիսկը։

2. 3. Ի՞ նչ ենք անում

Ռոուտինգը/կասկադը ՝ PMS _ A vs PMS _ B, sticky BIN, լիմիտ-aj։

3DS քաղաքականություն ՝ frictionless www.challenge, հարկադիր 3DS BIN/geo համար։

UX ֆլոուն 'քայլերի հաջորդականությունը, սխալների տեքստերը/պատմիչները։

Ռեգայի պարամետրերը 'պատուհաններ և www.s.dec.ru։

Գնումը 'IC++ vs blended-ի պրովայդերը և ազդեցությունը բոլոր-in արժեքի վրա։

3) Metriki: 108, հիբրիդային, guardrails, guardrails

3. 1. Հիմնական

AR (Approval Rate) = approved/attempted.
Cost-per-Approval = (auth+decline fees)/approved.

Take-rate% (all-in) = fees/volume (հաշվետվական հաղորդագրության մեջ)։

3DS pass-rate; liability shift %.

Latency p95/p99 հիբրիդային ֆլոուն։

3. 2. Ռիսկի-մետրիկները

Chargeback ratio (CBR), refund rate, fraud alerts/1000 trx.
FX slippage (bps) = effective vs reference FX.

3. 3. Guardrails (stop-պայմաններ)

AR> Y bps-ի անկումը կամ CBR/Refunds աճը ավելի բարձր է շեմից։

SPM (Sample Ratio Mismatch) - անհավասարակշռություն սպասվածի դեմ։

Spikes: Լատինականություն, soft-decultsurge, 3DS anomaly։

4) Վիճակագրությունը և ուժը

4. 1. Նմուշների չափը (մոտիվացիան մասնաբաժնի համար)

n_per_group ≈ 2 (Z_{1-α/2} + Z_{1-β})^2 p(1-p) / δ^2

որտեղ 'p' -ը հիմնականը AR, 'no' - ակնկալվող uplift AR-ում, կոմպոզիցիան կարևորության մակարդակն է, լուծումը II տեսակի սխալ է։

4. 2. Հաջորդական վերլուծություն (վաղ կանգառներ)

Alpha-spending (O'Brien-Fleming/Pocock): Մենք արձանագրում ենք ստուգման գրաֆիկը և շեղում քայլերը։

SPRT/Bayes-ը վիրահատական լուծումների համար է, բայց արձանագրել է արձանագրությունը։

4. 3. Ռոտս-խմբագրություն

CUPED: "Y = Y international" (X-ը ՝ բանաձև _ X) ", որտեղ X-ը նախաեքսպերիմենտալ կովարիատ է (AR/DR/ռիսկի սկոր), ռուսական-ը կովարիանային գործակից է։

Ստրատիֆիկացված գնահատականներ, կլաստեր-ռոբաստիկ սխալներ (user/BIN կլաստերներ)։

Bootstrap-ի համար take-rate/stoimost մետրիկ (ծանր պոչեր)։

4. 4. Հակավիրուսային թեստեր և bandits

MAB (UCB/Thompson). Երբ կարևոր է «սովորել» ամռանը և չկորցնել շրջանառությունը։

Քննադատական մետրիկի համար (CBR, liability) - նախընտրեք դասական A/B guardrails։

5) Փորձարկման պլատֆորմի ճարտարապետությունը

1. Assignant-ծառայություն 'դետերմինացված հեշ "(user _ id, experiment _ id, salt)' www.bucket։

2. Feature-դրոշները/Rules-internine: ակտիվացում 07/3DS/retraya ճյուղով։

3. Իրադարձությունները 'փորձեր/արդյունքներ (authorize/capture/refund/cb) Kafka (PubSub)։

4. Idempotenty: Ընդհանուր «idempotency _ key» կասկադի վրա։

5. MSH/Witrins 'նորմալ կարգավիճակներ, fees, FX, ռիսկի դրոշներ։

6. Մոսկվա: onts-SLI (AR/3DS/latency), ալտերտերը, MSM-չեքը։

7. Արձանագրություններ ՝ pre-register վարկած, վերջնական չափանիշներ, ֆրիզ։

6) Տվյալների մոդելը (նվազագույն)

sql ref. experiments (
exp_id PK, name, hypothesis, owner, start_at, end_at,
unit -- USER      BIN      ORDER,
target_metric, guardrails JSONB, design JSONB, alpha NUMERIC, power NUMERIC, meta JSONB
);

ref. experiment_arms (
exp_id FK, arm_id, name, traffic_share NUMERIC, params JSONB, enabled BOOLEAN
);

assignments. buckets (
exp_id, user_id, assigned_arm, assigned_at, salt, hash_key, PRIMARY KEY (exp_id, user_id)
);

events. payments (
attempt_id PK, user_id, exp_id, arm_id,
provider, method, bin, iso2, risk_score,
status, decline_code, three_ds_used BOOLEAN, liability_shift BOOLEAN,
amount_minor BIGINT, currency, latency_ms INT,
authorized_at, captured_at, settled_at, meta JSONB
);

finance. fees (
attempt_id FK, interchange_amt NUMERIC, scheme_amt NUMERIC, markup_amt NUMERIC,
auth_amt NUMERIC, refund_amt NUMERIC, cb_amt NUMERIC, gateway_amt NUMERIC,
fx_slippage_amt NUMERIC, reporting_currency TEXT
);

risk. outcomes (
attempt_id FK, is_refund BOOLEAN, is_chargeback BOOLEAN, fraud_alert BOOLEAN
);

7) SQL ձևանմուշները

7. 1. MSM-chek (հաճախորդի մասնաբաժինը ձեռքերով)

sql
SELECT arm_id,
COUNT() AS n,
ROUND(100. 0 COUNT() / SUM(COUNT()) OVER (), 2) AS share_pct
FROM assignments. buckets
WHERE exp_id =:exp
GROUP BY 1;

7. 2. Հիմնական չափումները ձեռքերով

sql
WITH base AS (
SELECT e. arm_id,
COUNT()                  AS attempts,
COUNT() FILTER (WHERE status='APPROVED') AS approvals,
AVG(latency_ms)              AS latency_avg_ms,
AVG((three_ds_used)::int)         AS three_ds_share
FROM events. payments e
WHERE e. exp_id=:exp AND e. authorized_at BETWEEN:from AND:to
GROUP BY 1
),
cost AS (
SELECT e. arm_id,
SUM(f. interchange_amt + f. scheme_amt + f. markup_amt +
f. auth_amt + f. refund_amt + f. cb_amt + f. gateway_amt + f. fx_slippage_amt) AS fees_rep,
SUM(e. amount_minor)/100. 0 AS volume_rep
FROM events. payments e
JOIN finance. fees f USING (attempt_id)
WHERE e. exp_id=:exp AND e. settled_at BETWEEN:from AND:to
GROUP BY 1
)
SELECT b. arm_id,
approvals::numeric/NULLIF(attempts,0)             AS ar,
fees_rep/NULLIF(volume_rep,0)                 AS take_rate,
(SELECT COUNT() FROM risk. outcomes r
JOIN events. payments e2 USING (attempt_id)
WHERE e2. exp_id=:exp AND e2. arm_id=b. arm_id AND r. is_chargeback)=0
AS cb_zero_flag,
latency_avg_ms, three_ds_share
FROM base b LEFT JOIN cost c ON c. arm_id=b. arm_id;

7. 3. CUPED-ը AR-ի համար (օրինակ)

sql
WITH pre AS (
SELECT user_id, AVG((status='APPROVED')::int) AS ar_pre
FROM events. payments
WHERE authorized_at <:pre_from_end
GROUP BY 1
),
cur AS (
SELECT e. user_id, e. arm_id, (e. status='APPROVED')::int AS ar_flag
FROM events. payments e
WHERE e. exp_id=:exp AND e. authorized_at BETWEEN:from AND:to
)
SELECT arm_id,
AVG(ar_flag - theta (ar_pre - mu_pre)) AS ar_cuped
FROM cur
LEFT JOIN pre USING (user_id),
LATERAL (SELECT AVG(ar_pre) AS mu_pre FROM pre) mu,
LATERAL (SELECT COVAR_SAMP(ar_flag, ar_pre)/VAR_SAMP(ar_pre) AS theta FROM cur LEFT JOIN pre USING(user_id)) t
GROUP BY arm_id;

7. 4. Guardrails ստուգումը (օրինակ)

sql
SELECT arm_id,
100. 0 SUM(is_chargeback::int)::numeric / NULLIF(COUNT(),0) AS cbr_pct,
100. 0 SUM(is_refund::int)::numeric  / NULLIF(COUNT(),0) AS refund_pct
FROM risk. outcomes r
JOIN events. payments e USING (attempt_id)
WHERE e. exp_id=:exp AND e. settled_at BETWEEN:from AND:to
GROUP BY 1
HAVING 100. 0 SUM(is_chargeback::int)::numeric / NULLIF(COUNT(),0) >:cbr_threshold
OR 100. 0 SUM(is_refund::int)::numeric  / NULLIF(COUNT(),0) >:refund_threshold;

8) Թեստի գործընթացը (and to-and)

1. Pre-registration: հիպոթեզը, մետրերը, դիզայնը, չափերը, ստոպի կանոնները։

2. MSM/AA թեստը «դատարկ» ազդեցության վրա (մի քանի օր)։

3. Մեկնարկը 'assignational freeze, տրամաբանությունը rules-entine/ficheflages-ում։

4. Ռուսական առցանց 'AR/3DS/latency/health + guardrails։

5. Alpha-spending-ի միջանկյալ ստուգումները (եթե պլանավորված էին)։

6. Ֆենիշը և ֆրիզը 'միայն funding/պահուստների/ուշ CB/refunds-ից հետո։

7. Վերլուծաբաններ ՝ CUPED/ստրատիֆիկացիա, զգայունություն, GEO/BIN/մեթոդով/։

8. Լուծումը 'roll-out, roll-back, կամ follow-up թեստ; կանոնների/ռոտինգի նորարարություն։

9. Գրանցումը և հետադարձ հայացքը 'դասեր, շեմերի/քաշների նորարարություն։

9) Anti-pattern և թակարդներ

Peeking/pere-դիտարկումը առանց արձանագրության կեղծ հաղթանակներ։

Order-level-randomization ռոտինգի թեստերում ռուսական արտահոսքը ձեռքերի միջև։

Խաղը բազմության հետ (շատ մետր/կտրում) առանց ռուսական մրցույթի։

Թերի արժեքը (մոռացել FX/պահուստ/refund fees) սխալ take-rate է։

MSM-չեկի բացակայությունը բացատրվում է հեռավոր եզրակացություններով։

Ոչ idempotent retray-ը բացատրում է AR-ի կրկնակի հեղինակային իրավունքը/որոնումը։

10) Անվտանգություն, բաղադրիչներ և էթիկա

Same-method/return-to-source-ը չպետք է կոտրվի թեստ։

Սանկցիաները/լիցենզիաները/GEO քաղաքականությունը փորձերից դուրս են։

RG/պատասխանատու խաղը 'չփորձել պաշտպանիչ մեխանիզմները AR-ի համար։

PCI/GDPR: PAN-ի փոխարեն, անձնական տվյալների նվազագույնի, DPA/SOC2։

11) KPI dashbord փորձ

AR/DR, uplift և վստահելի ընդմիջումներ ձեռքերի և հիմնական ստրատեգիաների վրա (GEO/BIN/մեթոդ)։

Cost-per-Approval, take-rate %, FX slippage (bps).
3DS pass/liability shift, soft-decline share.

Latency p95/p99, սխալներ/թայմաուտներ։

CB/Refunds (lag-a.ru), SDM, No. 108, տևողությունը։

12) Best practics (կարճ)

1. Ռանդոմիզացրեք օգտագործողի մակարդակում և ապահովագրեք։

2. Օգտագործեք guardrails և MSM-chek; արձանագրել արձանագրությունը։

3. Համարեք ամբողջ արժեքը (fees + FX + reserve) և cost-per-approval։

4. Օգտագործեք CUPED-ը, կլաստերային-ռոբաստիկ սխալները և bootstrap-ը ստոմոստային մետրի համար։

5. Քննադատական ռիսկերի համար դասական A/B; bandits - հիմնականում արժեքավոր/AR խնդիրների համար։

6. Հաշվի առեք funding/պահուստները/ուշ CB-ը մինչև վերջնական եզրակացությունը։

7. Փաստաթղթավորեք և տարբերեք կանոնները. արեք post-mortem։

13) Չեկի թուղթը

• Հիպոթեզը, չափումները, էֆեկտը, դիզայնը, նմուշառման չափը, ժամանակահատվածը։
• Յունիտ ռանդոմիզացիա և կրքեր, assignational-ծառայություն, ֆիչեֆլագներ։
• Guardrails/շեմեր, MSM/AA-precheck, ալտերտեր։
• Լոգներ/իրադարձություններ, գաղափարախոսություն, կարգավիճակների նորմալացում։
• Vitrins fees/FX/reserve; Հաշվետվական արժույթ։
• Կանգառի պլանը (alpha-spending) և ամսաթիվը։
• Pleybuks roll-out/roll-back; արդյունքների բարձրացում։

Ռեզյումե

A/B հիբրիդային թեստերը ինժեներական և վիճակագրական կարգապահություն են 'ճիշտ ռանդոմալիզացիա և ստրատիֆիկացիա, արժեքի և ռիսկի ամբողջական չափումներ, guardrails և PPM, կոկիկ վերլուծություն (CUPED/կլաստեր-ռոբաստեր/հետևողական վերլուծություն) և «մարտական» ենթակառուցվածքներ (idemptempation, հեռուստատեսություն, հեռուստատեսություն), recciliation)։ Հետևելով այս մեթոդին, դուք ավելացնում եք AR-ը, իջեցնում եք all-in take-rate-ը և միևնույն ժամանակ չեք վճարում չարջբեկների աճի և կարգավորող ռիսկերի համար։