Төлөм сценарийлеринин A/B тесттери

1) Эмне үчүн төлөм сценарийлерин тестирлөө керек

жактырууну көбөйтүү (AR) жана кемчиликтерди азайтуу (DR).
наркын азайтуу: take-rate (interchange/scheme/markup/fixed) жана cost-per-approval.
Тобокелдикти азайтуу: ошол эле жактыруулар менен аз чарджбек/фрод.
Туруктуулук: конкреттүү GEO/BIN/ыкмалары боюнча/3DS-стратегиясы/роутинг менен камсыз кылуу тандоо.

2) Эксперимент Дизайн

2. 1. Рандомизация бирдиги

User-level (сунушталат): бир колдонуучунун бардык аракеттери бир бутакка түшөт → жок "аралаштыруу" 3DS/токендер.
BIN-деңгээл: тест качан - эмитент боюнча роутинг жөнүндө; кросс-колдонуучунун аралашуу коркунучу.
Order/Attempt-деңгээл: чакан UI эксперименттер үчүн алгылыктуу (мисалы, ката көчүрмөсү), роутинг/3DS үчүн жагымсыз.

2. 2. Стратификация (рандомизацияга чейин)

стратификация: оюнчу GEO, issuer country/BIN6, төлөм ыкмасы, канал (web/app), суммасы-сегмент, тобокелдик-скор. Бул дисперсияны жана SRM тобокелдигин азайтат.

2. 3. Биз эмнени сынап жатабыз

Роутинг/каскад: PSP_A vs PSP_B, sticky BIN, лимит-aware.
3DS саясаты: frictionless → challenge, BIN/гео үчүн мажбурлоо 3DS.
UX Flow: кадам ырааттуулугу, ката тексттер/кайталоо.
Relay параметрлери: терезелер жана коддору soft-decline.
Баа: IC++ vs blended менен провайдер жана баардык баага таасир этүү.

3) Metrics: максаттуу, экинчи, guardrails

3. 1. Негизги

AR (Approval Rate) = approved/attempted.
Cost-per-Approval = (auth+decline fees)/approved.
Take-rate% (all-in) = fees/volume (отчеттук валютада).
3DS pass-rate; liability shift %.
Latency p95/p99 төлөм флоу.

3. 2. Тобокелдик-метрика

Chargeback ratio (CBR), refund rate, fraud alerts/1000 trx.
FX slippage (bps) = effective vs reference FX.

3. 3. Guardrails

AR> Y bps же CBR/Refunds өсүш босогодон жогору түшүү.
SRM (Sample Ratio Mismatch) - күтүлгөн жол кыймылынын дисбаланс.
Spikes: жашыруун, soft-decline surge, 3DS аномалия.

4) Статистика жана күч

4. 1. Үлгү көлөмү (үлүштөр үчүн жакындатуу)

n_per_group ≈ 2 (Z_{1-α/2} + Z_{1-β})^2 p(1-p) / δ^2

бул жерде 'p' - негизги AR, 'δ' - AR күтүлгөн uplift, α - маанилүүлүк деңгээли, β - II түрдөгү ката.

4. 2. Ырааттуу талдоо (эрте токтотуу)

Alpha-spending (O'Brien-Fleming/Pocock): текшерүү тартибин чечүү жана этап-этабы боюнча α сарптоо.
SPRT/Bayes - ыкчам чечимдер үчүн, бирок протоколду чечүү.

4. 3. Variant-Edition

CUPED: 'Y = Y − θ (X − μ_X)', мында X - эксперименталдык ковариат (AR/DR/тобокелдик-скор), θ - ковариант коэффициенти.
Стратификацияланган баалоолор, кластердик каталар (колдонуучу/BIN кластерлери).
Bootstrap үчүн take-rate/наркы метр (оор куйруктары).

4. 4. Multivariants тесттер жана bandits

MAB (UCB/Томпсон): "үйрөнүү" маанилүү болгондо жана жүгүртүүнү жоготпоо.
Комплаенс критикалык метриктер үчүн (CBR, liability) - guardrails менен классикалык A/B артык.

5) Архитектура эксперименталдык платформа

1. Assignment-кызматы: аныктоо хэш '(user_id, experiment_id, salt)' → bucket.
2. Feature-желектери/Руль-engine: каттам жандандыруу/3DS/бутагы боюнча retraia.
3. Окуялар: аракет/натыйжалары (authorize/capture/refund/cb) → шиналар (Kafka/PubSub).
4. Демпотенттик: жалпы 'idempotency _ key' боюнча каскад.
5. DWH/Showrooms: нормалдаштырылган статустар, fees, FX, тобокелдик желектери.
6. Мониторинг: Online-SLI (AR/3DS/latency), Алерт, SRM-чек.
7. Протоколдор: pre-register гипотеза, акыркы критерийлер, data-friz.

6) Маалыматтар модели (минималдуу)

sql ref. experiments (
exp_id PK, name, hypothesis, owner, start_at, end_at,
unit -- USER      BIN      ORDER,
target_metric, guardrails JSONB, design JSONB, alpha NUMERIC, power NUMERIC, meta JSONB
);

ref. experiment_arms (
exp_id FK, arm_id, name, traffic_share NUMERIC, params JSONB, enabled BOOLEAN
);

assignments. buckets (
exp_id, user_id, assigned_arm, assigned_at, salt, hash_key, PRIMARY KEY (exp_id, user_id)
);

events. payments (
attempt_id PK, user_id, exp_id, arm_id,
provider, method, bin, iso2, risk_score,
status, decline_code, three_ds_used BOOLEAN, liability_shift BOOLEAN,
amount_minor BIGINT, currency, latency_ms INT,
authorized_at, captured_at, settled_at, meta JSONB
);

finance. fees (
attempt_id FK, interchange_amt NUMERIC, scheme_amt NUMERIC, markup_amt NUMERIC,
auth_amt NUMERIC, refund_amt NUMERIC, cb_amt NUMERIC, gateway_amt NUMERIC,
fx_slippage_amt NUMERIC, reporting_currency TEXT
);

risk. outcomes (
attempt_id FK, is_refund BOOLEAN, is_chargeback BOOLEAN, fraud_alert BOOLEAN
);

7) SQL үлгүлөрү

7. 1. SRM-чек (кол менен трафиктин үлүшү)

sql
SELECT arm_id,
COUNT() AS n,
ROUND(100. 0 COUNT() / SUM(COUNT()) OVER (), 2) AS share_pct
FROM assignments. buckets
WHERE exp_id =:exp
GROUP BY 1;

7. 2. Колдогу негизги метриктер

sql
WITH base AS (
SELECT e. arm_id,
COUNT()                  AS attempts,
COUNT() FILTER (WHERE status='APPROVED') AS approvals,
AVG(latency_ms)              AS latency_avg_ms,
AVG((three_ds_used)::int)         AS three_ds_share
FROM events. payments e
WHERE e. exp_id=:exp AND e. authorized_at BETWEEN:from AND:to
GROUP BY 1
),
cost AS (
SELECT e. arm_id,
SUM(f. interchange_amt + f. scheme_amt + f. markup_amt +
f. auth_amt + f. refund_amt + f. cb_amt + f. gateway_amt + f. fx_slippage_amt) AS fees_rep,
SUM(e. amount_minor)/100. 0 AS volume_rep
FROM events. payments e
JOIN finance. fees f USING (attempt_id)
WHERE e. exp_id=:exp AND e. settled_at BETWEEN:from AND:to
GROUP BY 1
)
SELECT b. arm_id,
approvals::numeric/NULLIF(attempts,0)             AS ar,
fees_rep/NULLIF(volume_rep,0)                 AS take_rate,
(SELECT COUNT() FROM risk. outcomes r
JOIN events. payments e2 USING (attempt_id)
WHERE e2. exp_id=:exp AND e2. arm_id=b. arm_id AND r. is_chargeback)=0
AS cb_zero_flag,
latency_avg_ms, three_ds_share
FROM base b LEFT JOIN cost c ON c. arm_id=b. arm_id;

7. 3. AR үчүн CUPED (мисал)

sql
WITH pre AS (
SELECT user_id, AVG((status='APPROVED')::int) AS ar_pre
FROM events. payments
WHERE authorized_at <:pre_from_end
GROUP BY 1
),
cur AS (
SELECT e. user_id, e. arm_id, (e. status='APPROVED')::int AS ar_flag
FROM events. payments e
WHERE e. exp_id=:exp AND e. authorized_at BETWEEN:from AND:to
)
SELECT arm_id,
AVG(ar_flag - theta (ar_pre - mu_pre)) AS ar_cuped
FROM cur
LEFT JOIN pre USING (user_id),
LATERAL (SELECT AVG(ar_pre) AS mu_pre FROM pre) mu,
LATERAL (SELECT COVAR_SAMP(ar_flag, ar_pre)/VAR_SAMP(ar_pre) AS theta FROM cur LEFT JOIN pre USING(user_id)) t
GROUP BY arm_id;

7. 4. guardrails текшерүү (мисал)

sql
SELECT arm_id,
100. 0 SUM(is_chargeback::int)::numeric / NULLIF(COUNT(),0) AS cbr_pct,
100. 0 SUM(is_refund::int)::numeric  / NULLIF(COUNT(),0) AS refund_pct
FROM risk. outcomes r
JOIN events. payments e USING (attempt_id)
WHERE e. exp_id=:exp AND e. settled_at BETWEEN:from AND:to
GROUP BY 1
HAVING 100. 0 SUM(is_chargeback::int)::numeric / NULLIF(COUNT(),0) >:cbr_threshold
OR 100. 0 SUM(is_refund::int)::numeric  / NULLIF(COUNT(),0) >:refund_threshold;

8) Тест процесси (end-tu-end)

1. Pre-каттоо: гипотеза, метрика, дизайн, өлчөмдөрү, токтоо эрежелери.
2. SRM/AA-тест "бош" таасири (бир нече күн).
3. Ишке киргизүү: freeze assignment, руль-engine логика/phicheflages.
4. онлайн мониторинг: AR/3DS/latency/health + guardrails.
5. alpha-spending боюнча аралык текшерүү (пландаштырылган болсо).
6. финиш жана дата-фриз: funding/камдар/кеч CB/refunds эсепке алынгандан кийин гана.
7. Аналитика: CUPED/стратификация, сезгичтик, GEO/BIN/ыкма/канал боюнча гетерогендүүлүк.
8. Чечим: roll-out, roll-back, же follow-up тест; эрежелерди/роутинг жаңыртуу.
9. Документация жана ретроспектива: сабактар, босоголорду/таразаларды жаңылоо.

9) Анти-үлгүлөрү жана тузактар

Протокол жок Peeking/кайра кароо → жалган утуштар.
Роутинг тесттерде Order-level рандомизациялоо → колдордун ортосунда агып кетүү.
Көп сандуу оюн (көп метр/кесилген) α түзөтүүсүз.
Толук эмес наркы (FX/камдык/refund fees унутуп) → туура эмес баасы.
Жок SRM-чек → которулган корутундулар.
Unidempotent Retray → Double Authorization/AR бурмалоо.

10) Коопсуздук, комплаенс жана этика

Same-method/return-to-source сыноо сыноо керек эмес.
Санкциялар/лицензиялар/GEO саясаттары - эксперименттерден тышкары.
RG/жоопкерчиликтүү оюн: AR үчүн коргоо механизмдерин начарлатпайт.
PCI/GDPR: PAN ордуна белгилер, минималдаштыруу жеке маалыматтар, DPA/SOC2.

11) KPI дашборд эксперимент

AR/DR, uplift жана кол жана негизги стратификация боюнча ишеним интервалдары (GEO/BIN/ыкмасы).
Cost-per-Approval, take-rate %, FX slippage (bps).
3DS pass/liability shift, soft-decline share.
Latency p95/p99, каталар/убакыт.
CB/Refunds (lag-aware), SRM, трафик камтуусу, узактыгы.

12) Best practices (кыска)

1. Колдонуучунун деңгээлинде рандомизациялоо жана стратификациялоо.
2. guardrails жана SRM чек колдонуу; протоколду жазыңыз.
3. Толук наркын (fees + FX + reserve) жана cost-per-approval.
4. CUPED колдонуу, кластердик каталар жана наркы өлчөө үчүн bootstrap.
5. Критикалык тобокелдиктер үчүн - классикалык A/B; bandits - негизинен баа/AR милдеттери үчүн.
6. funding/камдар/акыркы чыгаруунун алдында кеч CB эске алуу.
7. Документтерди жана эрежелерди чыгаруу; post-mortem.

13) Чек тизмеси ишке киргизүү

• гипотеза, метрика, таасир, дизайн, үлгү өлчөмү, мөөнөтү.
• Unit рандомизация жана страталар, assignment-кызматы, phicheflags.
• Guardrails/босоголор, SRM/AA-precheck, Алерталар.
• Логи/окуялар, демпотенттик, статусун нормалдаштыруу.
• Терезелер fees/FX/reserve; отчеттук валюта.
• Токтоо планы (alpha-spending) жана friz.
• Playbook roll-out/roll-back; натыйжалардын документтери.

Резюме

A/B тёлём жагдайлар сыноо инженердик-статистикалык тартип болуп саналат: туура рандомизация жана стратификация, толук наркы жана тобокелдик өлчөмдөрү, guardrails жана SRM, тыкан аналитика (CUPED/кластер-тайманбастык/ырааттуу талдоо) жана "согушка жөндөмдүү" инфраструктура (демпотенттик, телеметрия, reconciliation). Бул ыкманы колдонуу менен, сиз AR жогорулатуу, бардык-in take-rate азайтуу жана ошол эле учурда "жалган утуштарды" Чаржбек жана жөнгө салуучу тобокелдиктердин өсүшү менен төлөбөйсүз.