בדיקות א/ב של תרחישי תשלום

1) מדוע לבחון תרחישי תשלום

הגדל אישורים (AR) והפחית כשלים (DR).
הפחת את העלות: take-rate (מחלף/scheme/markup/fixed) ו-cost-per-authority.
פחות צ 'רג' בקס/הונאה עם אותם אישורים.
קיימות: בחר אסטרטגיה/ניתוב provider/3DS עבור שיטות GEO/BIN/ספציפיות.

2) תכנון ניסויים

2. 1. יחידת אקראיות

User-level (מומלץ): כל הניסיונות של משתמש אחד ליפול לתוך ענף אחד = אין ”ערבוב” של 3DS/tokens.
רמת סל: כאשר המבחן הוא על ניתוב על ידי מעביר; סיכון צולב משתמש מבלבל.
סדר/ניסיון-רמה: מקובל לניסויי UI קטנים (לדוגמה, עותק של שגיאה), לא רצויים עבור routing/3DS.

2. 2. סטרטיפיקציה (לפני האקראיות)

Stratify by: GEO player, issuer country/BIN6, process, channel (web/app), small-port, rate-rate. זה יפחית את השוני והסיכון של SRM.

2. 3. מה שאנחנו בודקים

ניתוב/מפל: PSP_A נגד PSP_B, סל דביק, מודע למגבלה.
מדיניות 3DS: אין חיכוך מספר אתגר, נאכף 3DS עבור BIN/GEO.
זרימה UX: רצף שלבים, שגיאה/חזרה טקסטים.
פרמטרים: חלונות וקודי התדרדרות רכים.
תמחור: ספק עם IC++ vs מעורבב והשפעה על העלות הכוללת.

3) מטריצות: ממוקד, משני, מעקות בטיחות

3. 1. הראשי

AR (שיעור אישור) = אושר/ניסיון.
עלות פר אישור = (auth + דמי ירידה )/אושר.
Take-rate% (all-in) = עמלות/נפח (במטבע דיווח).
3DS מעבר-קצב; אחריות משמרת%.
זרימת תשלום Latency p95/p99.

3. 2. מדדי סיכון

יחס Chargback (CBR), שיעור החזר, התראות הונאה/1000 trx.
(FX slippage (bps = יעיל נגד התייחסות FX.

3. 3. מעקות בטיחות (תנאי עצירה)

ירידה ב-AR> Y bps או עלייה ב-CBR/Refunds מעל הסף.
SRM (Sample Ratio Mismatch) - חוסר איזון תנועה לעומת צפוי.
קפיצות: Latency, גל רך-ירידה, אנומליה 3DS.

4) סטטיסטיקות וכוח

4. 1. גודל מדגם (קירוב לשברים)

n_per_group ≈ 2 (Z_{1-α/2} + Z_{1-β})^2 p(1-p) / δ^2

כאשר 'P' הוא הבסיס AR, 'II' היא ההתרוממות הצפויה ב AR, היא רמת החשיבות, S היא שגיאה מסוג II.

4. 2. ניתוח רציף (עצירות מוקדמות)

אלפא-בזבוז (או 'בריאן-פלמינג/פוקוק): אנחנו מתקנים את לוח הזמנים של הבדיקה ומבזבזים את ה- _ בשלבים.
SPRT/Bayes - לפתרונות מבצעיים, אבל לתקן את הפרוטוקול.

4. 3. עריכת Varys

CAPP: 'Y = Y ~ (X - μ_X)', שבו X הוא הקובריאט הקדם-ניסיוני (AR/DR/Risk Rate),

ציוני סטרטיג, שגיאות אשכול-חזקות (אשכולות משתמש/סל).
סטריפ אתחול למדידת קצב/עלות (זנבות כבדים).

4. 4. בדיקות רב פעמיות ושודדים

MAB (UCB/Thompson): כאשר חשוב ”ללמוד” על הזבוב ולהמשיך להסתובב.
עבור מדדים קריטיים (CBR, אחריות) - מעדיף A/B קלאסי עם מעקות בטיחות.

5) ארכיטקטורת פלטפורמה ניסיונית

1. שירות משימות: חשיש דטרמיניסטי (user_id, experiment_id, מלח) "דלי.
2. דגלים/כללים-מנוע: הפעלה של route/3DS/retract לאורך הענף.
3. אירועים: ניסיונות/תוצאות (אישור/לכידה/החזר/cb) ac (Kafka/PubSub).
4. אידמפוטנטיות: סה "כ idempotency _ key 'per cascade.
5. DWH/Showcass: סטטוסים מנורמלים, עמלות, FX, דגלי סיכון.
6. ניטור: מקוון-SLI (AR/3DS/latency), התראות, בדיקת SRM.
7. פרוטוקולים: השערת קדם-רישום, קריטריונים סופיים, פריז נתונים.

6) מודל נתונים (מינימום)

sql ref. experiments (
exp_id PK, name, hypothesis, owner, start_at, end_at,
unit -- USER      BIN      ORDER,
target_metric, guardrails JSONB, design JSONB, alpha NUMERIC, power NUMERIC, meta JSONB
);

ref. experiment_arms (
exp_id FK, arm_id, name, traffic_share NUMERIC, params JSONB, enabled BOOLEAN
);

assignments. buckets (
exp_id, user_id, assigned_arm, assigned_at, salt, hash_key, PRIMARY KEY (exp_id, user_id)
);

events. payments (
attempt_id PK, user_id, exp_id, arm_id,
provider, method, bin, iso2, risk_score,
status, decline_code, three_ds_used BOOLEAN, liability_shift BOOLEAN,
amount_minor BIGINT, currency, latency_ms INT,
authorized_at, captured_at, settled_at, meta JSONB
);

finance. fees (
attempt_id FK, interchange_amt NUMERIC, scheme_amt NUMERIC, markup_amt NUMERIC,
auth_amt NUMERIC, refund_amt NUMERIC, cb_amt NUMERIC, gateway_amt NUMERIC,
fx_slippage_amt NUMERIC, reporting_currency TEXT
);

risk. outcomes (
attempt_id FK, is_refund BOOLEAN, is_chargeback BOOLEAN, fraud_alert BOOLEAN
);

7) תבניות SQL

7. 1. בדיקת SRM (נתח תנועה ידנית)

sql
SELECT arm_id,
COUNT() AS n,
ROUND(100. 0 COUNT() / SUM(COUNT()) OVER (), 2) AS share_pct
FROM assignments. buckets
WHERE exp_id =:exp
GROUP BY 1;

7. 2. מדדי מפתח ביד

sql
WITH base AS (
SELECT e. arm_id,
COUNT()                  AS attempts,
COUNT() FILTER (WHERE status='APPROVED') AS approvals,
AVG(latency_ms)              AS latency_avg_ms,
AVG((three_ds_used)::int)         AS three_ds_share
FROM events. payments e
WHERE e. exp_id=:exp AND e. authorized_at BETWEEN:from AND:to
GROUP BY 1
),
cost AS (
SELECT e. arm_id,
SUM(f. interchange_amt + f. scheme_amt + f. markup_amt +
f. auth_amt + f. refund_amt + f. cb_amt + f. gateway_amt + f. fx_slippage_amt) AS fees_rep,
SUM(e. amount_minor)/100. 0 AS volume_rep
FROM events. payments e
JOIN finance. fees f USING (attempt_id)
WHERE e. exp_id=:exp AND e. settled_at BETWEEN:from AND:to
GROUP BY 1
)
SELECT b. arm_id,
approvals::numeric/NULLIF(attempts,0)             AS ar,
fees_rep/NULLIF(volume_rep,0)                 AS take_rate,
(SELECT COUNT() FROM risk. outcomes r
JOIN events. payments e2 USING (attempt_id)
WHERE e2. exp_id=:exp AND e2. arm_id=b. arm_id AND r. is_chargeback)=0
AS cb_zero_flag,
latency_avg_ms, three_ds_share
FROM base b LEFT JOIN cost c ON c. arm_id=b. arm_id;

7. 3. CAPP עבור AR (דוגמה)

sql
WITH pre AS (
SELECT user_id, AVG((status='APPROVED')::int) AS ar_pre
FROM events. payments
WHERE authorized_at <:pre_from_end
GROUP BY 1
),
cur AS (
SELECT e. user_id, e. arm_id, (e. status='APPROVED')::int AS ar_flag
FROM events. payments e
WHERE e. exp_id=:exp AND e. authorized_at BETWEEN:from AND:to
)
SELECT arm_id,
AVG(ar_flag - theta (ar_pre - mu_pre)) AS ar_cuped
FROM cur
LEFT JOIN pre USING (user_id),
LATERAL (SELECT AVG(ar_pre) AS mu_pre FROM pre) mu,
LATERAL (SELECT COVAR_SAMP(ar_flag, ar_pre)/VAR_SAMP(ar_pre) AS theta FROM cur LEFT JOIN pre USING(user_id)) t
GROUP BY arm_id;

7. 4. בדיקת מעקות בטיחות (דוגמה)

sql
SELECT arm_id,
100. 0 SUM(is_chargeback::int)::numeric / NULLIF(COUNT(),0) AS cbr_pct,
100. 0 SUM(is_refund::int)::numeric  / NULLIF(COUNT(),0) AS refund_pct
FROM risk. outcomes r
JOIN events. payments e USING (attempt_id)
WHERE e. exp_id=:exp AND e. settled_at BETWEEN:from AND:to
GROUP BY 1
HAVING 100. 0 SUM(is_chargeback::int)::numeric / NULLIF(COUNT(),0) >:cbr_threshold
OR 100. 0 SUM(is_refund::int)::numeric  / NULLIF(COUNT(),0) >:refund_threshold;

8) תהליך מבחן (מקצה לקצה)

1. השערה, מדדים, עיצוב, ממדים, חוקי עצירה.
2. מבחן SRM/AA על אפקט ”ריק” (כמה ימים).
3. שיגור: להקפיא משימה, היגיון בכללים-מנוע/פישפלאגים.
4. ניטור מקוון: AR/3DS/latency/health + מעקות בטיחות.
5. בדיקות אלפא-הוצאות ביניים (אם מתוכננות).
6. פריז סיום ותאריך: רק לאחר חשבונאות למימון/רזרבות/איחור CB/החזרים.
7. אנליטיקה: CUPED/stratification, רגישות, GEO/BIN/method/channel heterogeneity.
8. פתרון: רול-אאוט, רול-גב, או בדיקת מעקב; עדכון כללים/ניתוב.
9. תיעוד ורטרוספקטיבה: שיעורים, עדכון סף/משקולות.

9) אנטי דפוסים ומלכודות

מציץ/סקירה מחדש ללא פרוטוקול = ניצחונות כוזבים.
אקראיות ברמת סדר בבדיקות ניתוב = דליפה בין הידיים.
Multiplicity game (הרבה מטריות/פרוסות) ללא תיקון.
עלות לא שלמה (שכח FX/reserve/reservant/respond tames).
חסר בדיקת SRM = סיכות לא מיושרות.
מגשים מחדש לא אידיאמפוטנטים * אישור AR כפול/עיוותים.

10) בטיחות, ציות ואתיקה

אותה שיטה/חזרה למקור לא צריכה להישבר על ידי הבדיקה.
סנקציות/רישיונות/מדיניות GEO הם מעבר לניסויים.
משחק RG/אחראי: אל תשפיל את מנגנוני ההגנה לטובת AR.
PCI/GDPR: אסימונים במקום PAN, מזעור נתונים אישיים, DPA/SOC2.

11) ניסוי לוח מחוונים KPI

AR/DR, מרווחי התרוממות וביטחון על ידי זרועות וסידור מפתחות (GEO/BIN/methody).
עלות לכל אישור, take-rate%, FX slippage (bps).
3DS עובר/שינוי אחריות, נתח ירידה רך.
Latency p95/p99, שגיאות/פסקי זמן.
CB/Refunds (לאג-מודע), SRM, כיסוי תנועה, משך זמן.

12) המנהגים הטובים ביותר (קצר)

1. להתאים אקראית ברמת המשתמש ולחפוף.
2. השתמש במעקות בטיחות ובדיקת SRM; לתקן את הפרוטוקול.
3. שקול עלות מלאה (עמלות + FX + reserve) ועלות לכל אישור.
4. השתמש ב ־ CAPED, בשגיאות אשכול ־ איתנה, ובמדדי עלות.
5. לסיכונים קריטיים - קלאסי A/B; שודדים - בעיקר למשימות מחיר/AR.
6. תן דעתך למימון/רזרבות/תקליטורים מאוחרים לפני הנסיגה הסופית.
7. מסמך וגרסה של הכללים; לעשות לאחר המוות.

13) רשימת הזנק

[ השערה ], מדדים, אפקט, עיצוב, גודל המדגם, מונח.

[ יחידת ] אקראיות וסטרטה, שירות משימות, פישפלאגים.

[ מעקות ]/סף, SRM/AA-precheck, התראות.

[ ] יומנים/אירועים, אידמפוטנטיות, נורמליזציה של מצב.

[ ] תצוגה עמלות/FX/reserve; דיווח על מטבע.

[ ] תוכנית אלפא-הוצאות והקפאת נתונים.

[ ] Playbooks roll-out/roll-back; תיעוד של תוצאות.

תקציר

מבחני A/B של תרחישי תשלום הם דיסציפלינה סטטיסטית הנדסית: תיקון אקראיות וסטרטיזציה, מדדי עלות וסיכון מלאים, מעקות בטיחות ו-SRM, אנליטיקה מסודרת (CUPED/cluster-robancess/sequential analysis) ותשתיות ”מוכנות לקרב” (idempotency, temetry, phies, pies). ע "י שימוש בטכניקה זו, מגבירים את ה-AR, מפחיתים את כל השיעורים, ובמקביל לא משלמים על" ניצחונות כוזבים "