भुगतान परिदृश्यों के ए/बी परीक्षण

1) परीक्षण भुगतान परिदृश्य क्यों

अनुमोदन (एआर) बढ़ाएं और विफलताओं को कम करें (डीआर)।

कम लागत: टेक-रेट (इंटरचेंज/स्कीम/मार्कअप/फिक्स्ड) और लागत-प्रति-अनुमोदन।

जोखिम कम करें: समान अनुमोदन के साथ कम चार्जबैक/धोखाधड़ी।

स्थिरता: विशिष्ट GEO/BIN/विधियों के लिए provider/3DS रणनीति/रूटिंग चुनें।

2) प्रयोग डिजाइन

2. 1. यादृच्छिक इकाई

उपयोगकर्ता-स्तर (अनुशंसित): एक उपयोगकर्ता के सभी प्रयास एक शाखा में आते हैं - का कोई "मिश्रण" नहीं है।

बिन-स्तर: जब परीक्षण जारीकर्ता द्वारा मार्ग के बारे में होता है; क्रॉस-उपयोगकर्ता भ्रमित होने का जोखिम।

आदेश/प्रयास-स्तर: छोटे यूआई प्रयोगों के लिए स्वीकार्य (उदाहरण के लिए, एक त्रुटि की एक प्रति), routing/3DS के लिए अवांछनीय।

2. 2. स्तरीकरण (यादृच्छिक होने से पहले)

द्वारा स्ट्रैटी: GEO प्लेयर, जारीकर्ता country/BIN6, भुगतान विधि, चैनल (वेब/ऐप), राशि-खंड, जोखिम-दर। इससे एसआरएम के विचरण और जोखिम को कम किया जाएगा।

2. 3. हम क्या परीक्षण करते हैं

रूटिंग/कैस्केड: बनाम, चिपचिपा बिन, सीमा-जागरूक।

3DS नीति: frictionless→challenge, BIN/GEO के लिए 3DS लागू किया गया।

UX प्रवाह: चरणों का अनुक्रम, त्रुटि/पुनरावृत्ति पाठ।

पैरामीटर: खिड़कियां और नरम-गिरावट कोड।

मूल्य निर्धारण: IC++ बनाम मिश्रित के साथ प्रदाता और सभी लागत पर प्रभाव।

3) मेट्रिक्स: लक्षित, माध्यमिक, रेलिंग

3. 1. मुख्य

एआर (अनुमोदन दर) = अनुमोदित/प्रयास।

लागत-प्रति-अनुमोदन = (auth + गिरावट शुल्क )/अनुमोदित।

टेक-रेट% (ऑल-इन) = फीस/वॉल्यूम (रिपोर्टिंग मुद्रा में)।

3DS पास-रेट; दायित्व शिफ्ट%।

लेटेंसी p95/p99 भुगतान प्रवाह।

3. 2. जोखिम मैट्रिक्स

चार्जबैक अनुपात (सीबीआर), वापसी दर, धोखाधड़ी अलर्ट/1000 ट्रैक्स।

एफएक्स स्लिपेज (बीपीएस) = प्रभावी बनाम संदर्भ एफएक्स।

3. 3. रेलिंग (स्टॉप स्थिति)

एआर> वाई बीपीएस में एक बूंद या सीबीआर/रिफंड में वृद्धि दहलीज के ऊपर।

एसआरएम (नमूना अनुपात मिसमैच) - यातायात असंतुलन बनाम अपेक्षित।

स्पाइक्स: विलंबता, नरम-गिरावट उछाल, 3DS विसंगति।

4) आँकड़े और शक्ति

4. 1. नमूना आकार (भिन्नों के लिए सन् निकटन)

n_per_group ≈ 2 (Z_{1-α/2} + Z_{1-β})^2 p(1-p) / δ^2

जहां 'p' बेस एआर है, 'AR' AR में अपेक्षित उत्थान है, ć महत्व का स्तर है, 'एक प्रकार II त्रुटि है।

4. 2. अनुक्रमिक विश्लेषण (प्रारंभिक स्टॉप)

अल्फा-खर्च (ओ 'ब्रायन-फ्लेमिंग/पोकॉक): हम निरीक्षण कार्यक्रम को ठीक करते हैं और चरणों में é खर्च करते हैं।

SPRT/Bayes - परिचालन समाधान के लिए, लेकिन प्रोटोकॉल को ठीक करें।

4. 3. वैरीज़संपादकीय

CAPPED: 'Y = Y ((X )', जहां X पूर्व-प्रायोगिक सहसंयोजक (AR/DR/जोखिम दर) है, covariate गुणांक है।

स्तरीकृत स्कोर, क्लस्टर-मजबूत त त्रुटियां (उपयोगकर्ता/बिन समूह)।

टेक-रेट/कॉस्ट मेट्रिक्स (भारी पूंछ) के लिए बूटस्ट्रैप।

4. 4. बहुभिन्नरूपी परीक्षण और डाकू

MAB (UCB/थॉम्पसन): जब मक्खी पर "सीखना" महत्वपूर्ण हो और मुड़ ते रहें।

अनुपालन-महत्वपूर्ण मैट्रिक्स (सीबीआर, देयता) के लिए - रेलिंग के साथ क्लासिक ए/बी पसंद करें।

5) प्रायोगिक मंच वास्तुकला

1. असाइनमेंट सेवा: नियतात्मक हैश '(user_id, experiment_id, नमक)' → बाल्टी।

2. फीचर-फ्लैग/रूल्स-इंजन: शाखा के साथ route/3DS/retract की सक्रियता।

3. घटनाएँ: प्रयास/परिणाम (अधिकृत/कैप्चर/रिफंड/cb) → बस (काफ्का/PubSub)।

4. पहचान: कुल 'idempotency _ key' per कैस्केड।

5. DWH/शोकेस: सामान्यीकृत स्टेटस, फीस, FX, जोखिम झंडे।

6. निगरानी: ऑनलाइन-एसएलआई (एआर/3DS/विलंबता), अलर्ट, एसआरएम जांच।

7. प्रोटोकॉल: प्री-रजिस्टर परिकल्पना, अंतिम मानदंड, डेटा फ्रिज़।

6) डेटा मॉडल (न्यूनतम)

sql ref. experiments (
exp_id PK, name, hypothesis, owner, start_at, end_at,
unit -- USER      BIN      ORDER,
target_metric, guardrails JSONB, design JSONB, alpha NUMERIC, power NUMERIC, meta JSONB
);

ref. experiment_arms (
exp_id FK, arm_id, name, traffic_share NUMERIC, params JSONB, enabled BOOLEAN
);

assignments. buckets (
exp_id, user_id, assigned_arm, assigned_at, salt, hash_key, PRIMARY KEY (exp_id, user_id)
);

events. payments (
attempt_id PK, user_id, exp_id, arm_id,
provider, method, bin, iso2, risk_score,
status, decline_code, three_ds_used BOOLEAN, liability_shift BOOLEAN,
amount_minor BIGINT, currency, latency_ms INT,
authorized_at, captured_at, settled_at, meta JSONB
);

finance. fees (
attempt_id FK, interchange_amt NUMERIC, scheme_amt NUMERIC, markup_amt NUMERIC,
auth_amt NUMERIC, refund_amt NUMERIC, cb_amt NUMERIC, gateway_amt NUMERIC,
fx_slippage_amt NUMERIC, reporting_currency TEXT
);

risk. outcomes (
attempt_id FK, is_refund BOOLEAN, is_chargeback BOOLEAN, fraud_alert BOOLEAN
);

7) SQL टेम्पलेट्स

7. 1. एसआरएम जांच (हाथ से यातायात का हिस्सा)

sql
SELECT arm_id,
COUNT() AS n,
ROUND(100. 0 COUNT() / SUM(COUNT()) OVER (), 2) AS share_pct
FROM assignments. buckets
WHERE exp_id =:exp
GROUP BY 1;

7. 2. हाथ से कुंजी मैट्रिक्स

sql
WITH base AS (
SELECT e. arm_id,
COUNT()                  AS attempts,
COUNT() FILTER (WHERE status='APPROVED') AS approvals,
AVG(latency_ms)              AS latency_avg_ms,
AVG((three_ds_used)::int)         AS three_ds_share
FROM events. payments e
WHERE e. exp_id=:exp AND e. authorized_at BETWEEN:from AND:to
GROUP BY 1
),
cost AS (
SELECT e. arm_id,
SUM(f. interchange_amt + f. scheme_amt + f. markup_amt +
f. auth_amt + f. refund_amt + f. cb_amt + f. gateway_amt + f. fx_slippage_amt) AS fees_rep,
SUM(e. amount_minor)/100. 0 AS volume_rep
FROM events. payments e
JOIN finance. fees f USING (attempt_id)
WHERE e. exp_id=:exp AND e. settled_at BETWEEN:from AND:to
GROUP BY 1
)
SELECT b. arm_id,
approvals::numeric/NULLIF(attempts,0)             AS ar,
fees_rep/NULLIF(volume_rep,0)                 AS take_rate,
(SELECT COUNT() FROM risk. outcomes r
JOIN events. payments e2 USING (attempt_id)
WHERE e2. exp_id=:exp AND e2. arm_id=b. arm_id AND r. is_chargeback)=0
AS cb_zero_flag,
latency_avg_ms, three_ds_share
FROM base b LEFT JOIN cost c ON c. arm_id=b. arm_id;

7. 3. एआर के लिए कैप्ड (उदाहरण)

sql
WITH pre AS (
SELECT user_id, AVG((status='APPROVED')::int) AS ar_pre
FROM events. payments
WHERE authorized_at <:pre_from_end
GROUP BY 1
),
cur AS (
SELECT e. user_id, e. arm_id, (e. status='APPROVED')::int AS ar_flag
FROM events. payments e
WHERE e. exp_id=:exp AND e. authorized_at BETWEEN:from AND:to
)
SELECT arm_id,
AVG(ar_flag - theta (ar_pre - mu_pre)) AS ar_cuped
FROM cur
LEFT JOIN pre USING (user_id),
LATERAL (SELECT AVG(ar_pre) AS mu_pre FROM pre) mu,
LATERAL (SELECT COVAR_SAMP(ar_flag, ar_pre)/VAR_SAMP(ar_pre) AS theta FROM cur LEFT JOIN pre USING(user_id)) t
GROUP BY arm_id;

7. 4. रेलिंग जाँच रहा है (उदाहरण)

sql
SELECT arm_id,
100. 0 SUM(is_chargeback::int)::numeric / NULLIF(COUNT(),0) AS cbr_pct,
100. 0 SUM(is_refund::int)::numeric  / NULLIF(COUNT(),0) AS refund_pct
FROM risk. outcomes r
JOIN events. payments e USING (attempt_id)
WHERE e. exp_id=:exp AND e. settled_at BETWEEN:from AND:to
GROUP BY 1
HAVING 100. 0 SUM(is_chargeback::int)::numeric / NULLIF(COUNT(),0) >:cbr_threshold
OR 100. 0 SUM(is_refund::int)::numeric  / NULLIF(COUNT(),0) >:refund_threshold;

8) परीक्षण प्रक्रिया (एंड-टू-एंड)

1. पूर्व-पंजीकरण: परिकल्पना, मैट्रिक्स, डिजाइन, आयाम, नियम बंद करें।

2. "खाली" प्रभाव (कुछ दिनों) पर SRM/AA परीक्षण।

3. लॉन्च: असाइनमेंट फ्रीज, नियम-इंजन/phicheflags में तर्क।

4. ऑनलाइन निगरानी: AR/3DS/latency/health + रेलिंग।

5. इंटरमीडिएट अल्फा-खर्च जाँच (यदि योजना बनाई गई है)।

6. फिनिश और डेट फ्रिज़: फंडिंग/रिजर्व/लेट सीबी/रिफंड के लिए लेखांकन के बाद ही।

7. विश्लेषण: CUPED/स्तरीकरण, संवेदनशीलता, GEO/BIN/विधि/चैनल विषमता।

8. समाधान: रोल-आउट, रोल-बैक, या अनुवर्ती परीक्षण; अद्यतन नियम/रूटिंग।

9. प्रलेखन और पूर्वव्यापी: सबक, थ्रेसहोल्ड/वजन को अद्यतन करना।

9) एंटी-पैटर्न और जाल

प्रोटोकॉल के बिना पीकिंग/री-रिव्यू - झूठी जीत।

रूटिंग परीक्षणों में ऑर्डर-लेवल रैंडमाइजेशन - हाथों के बीच रिसाव।

~ सुधार के बिना मल्टीप्लिसिटी गेम (कई मैट्रिक्स/स्लाइस)।

अधूरी लागत (एफएक्स/रिजर्व/रिफंड शुल्क को भूल गया) → गलत टेक-रेट।

लापता SRM जाँच → गलत पिन।

गैर-आइडेम्पोटेंट रिट्रेज़ → डबल एआर प्राधिकरण/विकृतियाँ।

10) सुरक्षा, अनुपालन और नैतिकता

समान-विधि/रिटर्न-टू-सोर्स को परीक्षण द्वारा नहीं तोड़ा जाना चाहिए।

प्रतिबंध/लाइसेंस/GEO नीतियां प्रयोग से परे हैं।

आरजी/जिम्मेदार खेल: एआर की खातिर रक्षा तंत्र को नीचा न दिखाएं।

PCI/GDPR: पैन के बजाय टोकन, व्यक्तिगत डेटा को कम करना, DPA/SOC2।

11) प्रयोग डैशबोर्ड केपीआई

एआर/डीआर, हथियारों और कुंजी स्तरीकरण (GEO/BIN/पद्धति) द्वारा उत्थान और विश्वास अंतराल।

लागत-प्रति-अनुमोदन, टेक-रेट%, एफएक्स स्लिपेज (बीपीएस)।

3DS पास/देयता पारी, नरम-गिरावट शेयर।

लेटेंसी p95/p99, त्रुटियां/टाइमआउट।

सीबी/रिफंड्स (लैग-अवेयर), एसआरएम, ट्रैफिक कवरेज, अवधि।

12) सर्वश्रेष्ठ अभ्यास (लघु)

1. उपयोगकर्ता स्तर पर यादृच्छिक करें और स्तरीकरण करें।

2. रेलिंग और एसआरएम जाँच का उपयोग करें; प्रोटोकॉल ठीक करें।

3. पूर्ण लागत (शुल्क + एफएक्स + रिजर्व) और लागत-प्रति-अनुमोदन पर विचार करें।

4. लागत मैट्रिक्स के लिए CAPPED, क्लस्टर-मजबूत त त्रुटियों और बूटस्ट्रैप का उपयोग करें।

5. महत्वपूर्ण जोखिमों के लिए - क्लासिक ए/बी; डाकू - मुख्य रूप से मूल्य/एआर कार्यों के लिए।

6. अंतिम निकासी से पहले धन/भंडार/देर से सीबी पर विचार करें।

7. दस्तावेज़ और नियमों का संस्करण; पोस्टमार्टम करें।

13) स्टार्ट-अप चेकलिस्ट

• परिकल्पना, मैट्रिक्स, प्रभाव, डिजाइन, नमूना आकार, शब्द।
• यूनिट रैंडमाइजेशन और स्ट्रैटा, असाइनमेंट सर्विस, फिचफ्लैग्स।
• गार्ड/थ्रेसहोल्ड, एसआरएम/एए-प्रीचेक, अलर्ट।
• लॉग/इवेंट, पहचान, स्थिति सामान्यीकरण।
• मामलों की फीस/एफएक्स/रिजर्व प्रदर्शित करें; रिपोर्टिंग मुद्रा
• अल्फा-खर्च योजना और डेटा फ्रीज।
• प्लेबुक रोल-आउट/रोल-बैक; परिणामों का प्रलेखन।

सारांश

भुगतान परिदृश्यों के ए/बी परीक्षण एक इंजीनियरिंग सांख्यिकीय अनुशासन हैं: सही यादृच्छिक और स्तरीकरण, पूर्ण लागत और जोखिम मैट्रिक्स, रेलिंग और एसआरएम, नीट एनालिटिक्स (CUPED/क्लस्टर-मजबूटी/अनुक्रेडिफेंसिक्शन) और "लड़ाऊ" तैयार "। इस तकनीक का पालन करके, आप एआर बढ़ाते हैं, ऑल-इन टेक-रेट को कम करते हैं, और साथ ही चार्जबैक और नियामक जोखिमों में वृद्धि के साथ "झूठी जीत" के लिए भुगतान नहीं करते हैं।