A/B გადახდის სცენარების ტესტები

1) რატომ უნდა შეამოწმოთ გადახდის სცენარები

გაზარდეთ მოწონება (AR) და შეამციროთ უარი (DR).
შეამცირეთ ღირებულება: take-rate (intersheme/scheme/markup/fixed) და cost-per-approval.
რისკის შემცირება: იგივე დამტკიცებებით ნაკლები carjbex/frode.
სტაბილურობა: შეარჩიეთ პროვაიდერი/3DS სტრატეგია/როუტინგი კონკრეტული GEO/BIN/მეთოდებისთვის.

2) ექსპერიმენტის დიზაინი

2. 1. რანდომიზაციის განყოფილება

User-level (რეკომენდებულია): ერთი მომხმარებლის ყველა მცდელობა შედის ერთ ფილიალში, არ არსებობს 3DS/token- ის „შერევა“.
BIN დონე: როდის არის ტესტი - ემიტენტის როუტინგის შესახებ; მომხმარებლის შერევის რისკი.
Order/Attempt-level: დასაშვებია მცირე UI ექსპერიმენტებისთვის (მაგალითად, შეცდომის ასლი), არასასურველია როუტინგისთვის/3DS.

2. 2. სტრატიფიკაცია (რანდომიზაციამდე)

სტრატიფიცირება: GEO მოთამაშე, issuer country/BIN6, გადახდის მეთოდი, არხი (ვებ/app), ფულადი სეგმენტი, რისკი. ეს შეამცირებს დისპერსიას და SRM რისკს.

2. 3. რა ტესტირება

Routing/cascad: PSP _ A vs PSP _ B, sticky BIN, Legit aware.
3DS პოლიტიკა: frictionless - გამოწვევა, იძულებითი 3DS BIN/geo.
UX flow: ნაბიჯების თანმიმდევრობა, შეცდომების/გამეორების ტექსტები.
Retray პარამეტრები: soft-decline ფანჯრები და კოდები.
ფასები: პროვაიდერი IC++ vs blended და გავლენა all-in ღირებულებაზე.

3) მეტრიკა: მიზნები, მეორეხარისხოვანი, guardrails

3. 1. ძირითადი

AR (Approval Rate) = approved/attempted.
Cost-per-Approval = (auth+decline fees)/approved.
Take-rate% (all-in) = fees/volume (საანგარიშო ვალუტაში).
3DS pass-rate; liability shift %.
Latency p95/p99 გადახდის ფლეშ.

3. 2. რისკის მეტრიკა

Chargeback ratio (CBR), refund rate, fraud alerts/1000 trx.
FX slippage (bps) = effective vs reference FX.

3. 3. Guardrails (გაჩერების პირობები)

AR> Y bps- ის ვარდნა ან CBR/Refunds- ის ზრდა ზღურბლზე მაღლა.
SRM (Sample Ratio Mismatch) - მოსალოდნელი ტრეფიკის დისბალანსი.
Spikes: ლატენტობა, რბილი-decline surge, 3DS anomaly.

4) სტატისტიკა და ძალა

4. 1. ნიმუშის ზომა (მიახლოება წილისთვის)

n_per_group ≈ 2 (Z_{1-α/2} + Z_{1-β})^2 p(1-p) / δ^2

სადაც 'p' არის ბაზის AR, 'AR- ში მოსალოდნელი uplift არის AR- ის მოსალოდნელი uplift, ეს არის მნიშვნელობის დონე,' p 'არის II ტიპის შეცდომა.

4. 2. თანმიმდევრული ანალიზი (ადრეული გაჩერებები)

Alpha-spending (O'Brien-Fleming/Pocock): ჩვენ ვწერთ შემოწმების გრაფიკს და ვხარჯავთ ეტაპებს.
SPRT/Bayes - ოპერაციული გადაწყვეტილებებისთვის, მაგრამ ჩაწერეთ ოქმი.

4. 3. Spect რედაქტორი

CUPED

სტრატიფიცირებული შეფასებები, მომაბეზრებელი შეცდომების მტევანი (user/BIN მტევანი).
Bootstrap take-rate/ფასიანი მეტრიკებისთვის (მძიმე კუდები).

4. 4. მულტიპლიკაციური ტესტები და ბანდიტები

MAB (UCB/ტომპსონი): როდესაც მნიშვნელოვანია ფრენის „სწავლა“ და არ დაკარგოთ ბრუნვა.
შესაბამისობის კრიტიკული მეტრიკებისთვის (CBR, liability) - უპირატესობა მიანიჭეთ კლასიკურ A/B guardrails- ს.

5) ექსპერიმენტების პლატფორმის არქიტექტურა

1. შეკრების სერვისი: დეტერმინისტული ჰაში '(user _ id, experiment _ id, salt)' bucket.
2. Feature დროშები/Rules ძრავა: მარშრუტის გააქტიურება/3DS/Retray ფილიალის გასწვრივ.
3. მოვლენები: მცდელობები/შედეგები (authorize/capture/refund/cb) - საბურავი (Kafka/PubSub).
4. Idempotence: კასკადის ზოგადი „idempotency _ key“.
5. DWH/Vitrins: ნორმალიზებული სტატუსები, fees, FX, რისკის დროშები.
6. მონიტორინგი: online-SLI (AR/3DS/latency), ალერტები, SRM ჩეკი.
7. ოქმები: pre-register ჰიპოთეზა, საბოლოო კრიტერიუმები, მონაცემთა ფრიზი.

6) მონაცემთა მოდელი (მინიმალური)

sql ref. experiments (
exp_id PK, name, hypothesis, owner, start_at, end_at,
unit -- USER      BIN      ORDER,
target_metric, guardrails JSONB, design JSONB, alpha NUMERIC, power NUMERIC, meta JSONB
);

ref. experiment_arms (
exp_id FK, arm_id, name, traffic_share NUMERIC, params JSONB, enabled BOOLEAN
);

assignments. buckets (
exp_id, user_id, assigned_arm, assigned_at, salt, hash_key, PRIMARY KEY (exp_id, user_id)
);

events. payments (
attempt_id PK, user_id, exp_id, arm_id,
provider, method, bin, iso2, risk_score,
status, decline_code, three_ds_used BOOLEAN, liability_shift BOOLEAN,
amount_minor BIGINT, currency, latency_ms INT,
authorized_at, captured_at, settled_at, meta JSONB
);

finance. fees (
attempt_id FK, interchange_amt NUMERIC, scheme_amt NUMERIC, markup_amt NUMERIC,
auth_amt NUMERIC, refund_amt NUMERIC, cb_amt NUMERIC, gateway_amt NUMERIC,
fx_slippage_amt NUMERIC, reporting_currency TEXT
);

risk. outcomes (
attempt_id FK, is_refund BOOLEAN, is_chargeback BOOLEAN, fraud_alert BOOLEAN
);

7) SQL შაბლონები

7. 1. SRM ჩეკი (ხელის ტრეფიკის წილი)

sql
SELECT arm_id,
COUNT() AS n,
ROUND(100. 0 COUNT() / SUM(COUNT()) OVER (), 2) AS share_pct
FROM assignments. buckets
WHERE exp_id =:exp
GROUP BY 1;

7. 2. მთავარი მეტრიკა

sql
WITH base AS (
SELECT e. arm_id,
COUNT()                  AS attempts,
COUNT() FILTER (WHERE status='APPROVED') AS approvals,
AVG(latency_ms)              AS latency_avg_ms,
AVG((three_ds_used)::int)         AS three_ds_share
FROM events. payments e
WHERE e. exp_id=:exp AND e. authorized_at BETWEEN:from AND:to
GROUP BY 1
),
cost AS (
SELECT e. arm_id,
SUM(f. interchange_amt + f. scheme_amt + f. markup_amt +
f. auth_amt + f. refund_amt + f. cb_amt + f. gateway_amt + f. fx_slippage_amt) AS fees_rep,
SUM(e. amount_minor)/100. 0 AS volume_rep
FROM events. payments e
JOIN finance. fees f USING (attempt_id)
WHERE e. exp_id=:exp AND e. settled_at BETWEEN:from AND:to
GROUP BY 1
)
SELECT b. arm_id,
approvals::numeric/NULLIF(attempts,0)             AS ar,
fees_rep/NULLIF(volume_rep,0)                 AS take_rate,
(SELECT COUNT() FROM risk. outcomes r
JOIN events. payments e2 USING (attempt_id)
WHERE e2. exp_id=:exp AND e2. arm_id=b. arm_id AND r. is_chargeback)=0
AS cb_zero_flag,
latency_avg_ms, three_ds_share
FROM base b LEFT JOIN cost c ON c. arm_id=b. arm_id;

7. 3. CUPED AR- ისთვის (მაგალითი)

sql
WITH pre AS (
SELECT user_id, AVG((status='APPROVED')::int) AS ar_pre
FROM events. payments
WHERE authorized_at <:pre_from_end
GROUP BY 1
),
cur AS (
SELECT e. user_id, e. arm_id, (e. status='APPROVED')::int AS ar_flag
FROM events. payments e
WHERE e. exp_id=:exp AND e. authorized_at BETWEEN:from AND:to
)
SELECT arm_id,
AVG(ar_flag - theta (ar_pre - mu_pre)) AS ar_cuped
FROM cur
LEFT JOIN pre USING (user_id),
LATERAL (SELECT AVG(ar_pre) AS mu_pre FROM pre) mu,
LATERAL (SELECT COVAR_SAMP(ar_flag, ar_pre)/VAR_SAMP(ar_pre) AS theta FROM cur LEFT JOIN pre USING(user_id)) t
GROUP BY arm_id;

7. 4. Guardrails- ის შემოწმება (მაგალითი)

sql
SELECT arm_id,
100. 0 SUM(is_chargeback::int)::numeric / NULLIF(COUNT(),0) AS cbr_pct,
100. 0 SUM(is_refund::int)::numeric  / NULLIF(COUNT(),0) AS refund_pct
FROM risk. outcomes r
JOIN events. payments e USING (attempt_id)
WHERE e. exp_id=:exp AND e. settled_at BETWEEN:from AND:to
GROUP BY 1
HAVING 100. 0 SUM(is_chargeback::int)::numeric / NULLIF(COUNT(),0) >:cbr_threshold
OR 100. 0 SUM(is_refund::int)::numeric  / NULLIF(COUNT(),0) >:refund_threshold;

8) ტესტის პროცესი (end-tu-end)

1. Pre-registration: ჰიპოთეზა, მეტრიკა, დიზაინი, ზომები, გაჩერების წესები.
2. SRM/AA ტესტი „ცარიელი“ ეფექტისთვის (რამდენიმე დღე).
3. გაშვება: შეკრების უფასო, ლოგიკა rules ძრავის/ფიჩეფლაგებში.
4. ონლაინ მონიტორინგი: AR/3DS/latence/health + guardrails.
5. შუალედური ალფა-სპენდინგის შემოწმება (თუ დაგეგმილი იყო).
6. დასრულება და მონაცემთა ფრიზი: მხოლოდ funding/რეზერვების/გვიან CB/refunds- ის აღრიცხვის შემდეგ.
7. ანალიტიკა: CUPED/სტრატიფიკაცია, მგრძნობელობა, ჰეტეროგენულობა GEO/BIN/მეთოდით/არხით.
8. გამოსავალი: roll-out, roll-back, ან follow-up ტესტი; წესების განახლება/როუტინგი.
9. დოკუმენტაცია და რეტროსპექტივა: გაკვეთილები, ბარიერების/სასწორის განახლება.

9) ანტი-ნიმუშები და ხაფანგები

Peeking/pere მიმოხილვა პროტოკოლის გარეშე არის ყალბი გამარჯვებები.
Order level randomization Routing ტესტებში - გაჟონვა ხელებს შორის.
თამაში მრავლობითობით (ბევრი მეტრიკი/ნაჭერი) კორექტირების გარეშე.
არასრული ღირებულება (დაივიწყეთ FX/რეზერვი/refund fees) არის არასწორი take-rate.
SRM შემოწმების არარსებობა გადაადგილებულ დასკვნებს წარმოადგენს.
Indempotent retrais - AR- ის ორმაგი ავტორიზაცია/დამახინჯება.

10) უსაფრთხოება, შესაბამისობა და ეთიკა

Same-method/return-to-source არ უნდა დაირღვეს ტესტის საშუალებით.
სანქციები/ლიცენზიები/GEO პოლიტიკა - ექსპერიმენტების მიღმა.
RG/პასუხისმგებელი თამაში: არ გაუარესდეს დამცავი მექანიზმები AR- სთვის.
PCI/GDPR: ნიშნები PAN- ის ნაცვლად, პერსონალური მონაცემების შემცირება, DPA/SOC2.

11) KPI Dashboard ექსპერიმენტი

AR/DR, uplift და ნდობის ინტერვალები ხელით და საკვანძო სტრატიფიკაციებზე (GEO/BIN/მეთოდი).
Cost-per-Approval, take-rate %, FX slippage (bps).
3DS pass/liability shift, soft-decline share.
Latency p95/p99, შეცდომები/ტაიმაუტები.
CB/Refunds (lag-aware), SRM, ტრაფიკის გაშუქება, ხანგრძლივობა.

12) საუკეთესო პრემიები (მოკლედ)

1. რანდომიზირება მომხმარებლის დონეზე და სტრატიფიკაცია.
2. გამოიყენეთ guardrails და SRM ჩეკი; ჩაწერეთ ოქმი.
3. გაითვალისწინეთ სრული ღირებულება (fees + FX + reserve) და cost-per-approval.
4. გამოიყენეთ CUPED, მრავალჯერადი შეცდომების მტევანი და bootstrap ფასიანი მეტრებისთვის.
5. კრიტიკული რისკებისთვის - კლასიკური A/B; bandits - ძირითადად ფასების/AR დავალებებისთვის.
6. გაითვალისწინეთ funding/რეზერვები/გვიან CB საბოლოო დასკვნამდე.
7. წესების დოკუმენტირება და ვერსიები; გააკეთეთ post-mortem.

13) გაშვების სია

• ჰიპოთეზა, მეტრიკა, ეფექტი, დიზაინი, ნიმუშის ზომა, ვადა.
• რანდომიზაციისა და სტრატების განყოფილება, ასოცირების სერვისი, ფიჩეფლაგები.
• Guardrails/ბარიერები, SRM/AA-precheck, ალერტები.
• ლოგოები/მოვლენები, იდემპოტენტობა, სტატუსის ნორმალიზაცია.
• fees/FX/reserve ვიტრინები; საანგარიშო ვალუტა.
• გაჩერების გეგმა (alpha-spending) და მონაცემთა ფრიზი.
• roll-out/roll-back playbuks; შედეგების დოკუმენტაცია.

რეზიუმე

A/B საგადახდო სკრიპტების ტესტები არის საინჟინრო და სტატისტიკური დისციპლინა: სწორი რანდომიზაცია და სტრატიფიკაცია, ღირებულებისა და რისკის სრული მეტრიკა, guardrails და SRM, სისუფთავე ანალიტიკა (CUPED/კლასტერის მორბენალი/თანმიმდევრული ანალიზი) და „საბრძოლო მზადყოფნა“ ინფრასტრუქტურა (idemememememememptempotempotretretretretretretretretretritritritritritritrics, ტელtrics, ტელtrics, რეკონსტრუქცია). ამ მეთოდოლოგიის შემდეგ, თქვენ ზრდის AR- ს, ამცირებთ ყოვლისმომცველ გადასახადს და, ამავე დროს, არ იხდით „ცრუ გამარჯვებებს“ ჩარჩბეკების ზრდით და მარეგულირებელი რისკებით.