A/B支付方案测试

1）为什么要测试支付方桉

增加批准（AR）和减少故障（DR）。
降低成本：收费（交换/计划/标记/固定）和按成本计算。
降低风险：在相同的批准下，charjback/frod更少。
可持续性：根据特定的GEO/BIN/方法选择提供商/3DS策略/漫游。

2）实验设计

2.1.Unit随机化

User-level（推荐）：所有单个用户的尝试都进入一个分支,→没有3 DS/令牌的"溷合"。
BIN-level：当测试是关于按发行人路由时；跨用户溷合的风险。
命令/引导级别：对于小型UI实验是允许的（例如，错误副本），不需要漫游/3 DS。

2.2.分层（在随机化之前）

按以下方式进行分层：玩家的GEO，issuer country/BIN6，付款方法，通道（web/app），总和段，风险范围。这将减少SRM的分散和风险。

2.3.我们测试什么

路由/级联：PSP_A vs PSP_B，sticky BIN，限量版。
3 DS政策：BIN/geo的强制性3 DS frictionless→challenge。
UX flow：步骤序列,错误/重复文本。
参数是复古的：窗口和软编码。
定价：提供IC++vs宽松的提供商，并影响所有成本。

3）度量标准： 目标,次要,guardrails

3.1.主要内容

AR (Approval Rate) = approved/attempted.

Cost-per-Approval = (auth+decline fees)/approved.

Take-rate% （all-in）=fees/volume（以报告货币）。

3DS pass-rate;liability shift %.

Latency p95/p99付款流。

3.2.风险指标

Chargeback ratio (CBR), refund rate, fraud alerts/1000 trx.

FX slippage (bps) = effective vs reference FX.

3.3.Guardrails（停止条件）

AR> Y bps下降或CBR/Refunds上升超过阈值。
SRM （Sample Ratio Mismatch）-流量与预期的不平衡。

Spikes： 潜伏期,软衰减,3 DS anomaly.

4）统计和功率

4.1.样本大小（分数的近似值）

n_per_group ≈ 2 (Z_{1-α/2} + Z_{1-β})^2 p(1-p) / δ^2

其中"p"是基本的AR，"δ"是AR中预期的uplift，α是重要程度，β是II类错误。

4.2.顺序分析（提前停止）

Alpha spending （O'Brien-Fleming/Pocock）：记录检查时间表并按阶段花费α。
SPRT/Bayes-用于操作解决方桉,但要捕获协议。

4.3.Varians编辑

CUPED："Y=Y − θ（X − μ_X）"，其中X是实验前协变量（AR/DR/风险斜率），θ是协变系数。
分层估计数，群集混乱错误（用户/BIN群集）。
用于收取/成本指标（重尾巴）的引导。

4.4.多变量测试和乐队

MAB（UCB/Thompson）：当重要的是即时学习，不要失去营业额。
对于合规性临界度量（CBR, liability）-更喜欢带有护栏的经典A/B。

5）实验平台架构

1.调度服务：确定性哈希（user_id，experiment_id，盐分）→ bucket。
2.功能标志/规则引擎：路由激活/3 DS/沿分支复古。
3.事件：尝试/结果（authorize/capture/refund/cb）→总线（Kafka/PubSub）。
4.相似性：每个级联的通用"idempotency_key"。
5.DWH/店面：归一化状态，功能，FX，风险标志。
6.监测：在线SLI（AR/3 DS/latency），Alerta，SRM支票。
7.协议：预注册假设，最终标准，数据带。

6）数据模型（最小值）

sql ref. experiments (
exp_id PK, name, hypothesis, owner, start_at, end_at,
unit -- USER      BIN      ORDER,
target_metric, guardrails JSONB, design JSONB, alpha NUMERIC, power NUMERIC, meta JSONB
);

ref. experiment_arms (
exp_id FK, arm_id, name, traffic_share NUMERIC, params JSONB, enabled BOOLEAN
);

assignments. buckets (
exp_id, user_id, assigned_arm, assigned_at, salt, hash_key, PRIMARY KEY (exp_id, user_id)
);

events. payments (
attempt_id PK, user_id, exp_id, arm_id,
provider, method, bin, iso2, risk_score,
status, decline_code, three_ds_used BOOLEAN, liability_shift BOOLEAN,
amount_minor BIGINT, currency, latency_ms INT,
authorized_at, captured_at, settled_at, meta JSONB
);

finance. fees (
attempt_id FK, interchange_amt NUMERIC, scheme_amt NUMERIC, markup_amt NUMERIC,
auth_amt NUMERIC, refund_amt NUMERIC, cb_amt NUMERIC, gateway_amt NUMERIC,
fx_slippage_amt NUMERIC, reporting_currency TEXT
);

risk. outcomes (
attempt_id FK, is_refund BOOLEAN, is_chargeback BOOLEAN, fraud_alert BOOLEAN
);

7） SQL模板

7.1.SRM支票（流量比例）

sql
SELECT arm_id,
COUNT() AS n,
ROUND(100. 0 COUNT() / SUM(COUNT()) OVER (), 2) AS share_pct
FROM assignments. buckets
WHERE exp_id =:exp
GROUP BY 1;

7.2.手头的主要指标

sql
WITH base AS (
SELECT e. arm_id,
COUNT()                  AS attempts,
COUNT() FILTER (WHERE status='APPROVED') AS approvals,
AVG(latency_ms)              AS latency_avg_ms,
AVG((three_ds_used)::int)         AS three_ds_share
FROM events. payments e
WHERE e. exp_id=:exp AND e. authorized_at BETWEEN:from AND:to
GROUP BY 1
),
cost AS (
SELECT e. arm_id,
SUM(f. interchange_amt + f. scheme_amt + f. markup_amt +
f. auth_amt + f. refund_amt + f. cb_amt + f. gateway_amt + f. fx_slippage_amt) AS fees_rep,
SUM(e. amount_minor)/100. 0 AS volume_rep
FROM events. payments e
JOIN finance. fees f USING (attempt_id)
WHERE e. exp_id=:exp AND e. settled_at BETWEEN:from AND:to
GROUP BY 1
)
SELECT b. arm_id,
approvals::numeric/NULLIF(attempts,0)             AS ar,
fees_rep/NULLIF(volume_rep,0)                 AS take_rate,
(SELECT COUNT() FROM risk. outcomes r
JOIN events. payments e2 USING (attempt_id)
WHERE e2. exp_id=:exp AND e2. arm_id=b. arm_id AND r. is_chargeback)=0
AS cb_zero_flag,
latency_avg_ms, three_ds_share
FROM base b LEFT JOIN cost c ON c. arm_id=b. arm_id;

7.3.用于AR的CUPED（示例）

sql
WITH pre AS (
SELECT user_id, AVG((status='APPROVED')::int) AS ar_pre
FROM events. payments
WHERE authorized_at <:pre_from_end
GROUP BY 1
),
cur AS (
SELECT e. user_id, e. arm_id, (e. status='APPROVED')::int AS ar_flag
FROM events. payments e
WHERE e. exp_id=:exp AND e. authorized_at BETWEEN:from AND:to
)
SELECT arm_id,
AVG(ar_flag - theta (ar_pre - mu_pre)) AS ar_cuped
FROM cur
LEFT JOIN pre USING (user_id),
LATERAL (SELECT AVG(ar_pre) AS mu_pre FROM pre) mu,
LATERAL (SELECT COVAR_SAMP(ar_flag, ar_pre)/VAR_SAMP(ar_pre) AS theta FROM cur LEFT JOIN pre USING(user_id)) t
GROUP BY arm_id;

7.4.Guardrails检查（示例）

sql
SELECT arm_id,
100. 0 SUM(is_chargeback::int)::numeric / NULLIF(COUNT(),0) AS cbr_pct,
100. 0 SUM(is_refund::int)::numeric  / NULLIF(COUNT(),0) AS refund_pct
FROM risk. outcomes r
JOIN events. payments e USING (attempt_id)
WHERE e. exp_id=:exp AND e. settled_at BETWEEN:from AND:to
GROUP BY 1
HAVING 100. 0 SUM(is_chargeback::int)::numeric / NULLIF(COUNT(),0) >:cbr_threshold
OR 100. 0 SUM(is_refund::int)::numeric  / NULLIF(COUNT(),0) >:refund_threshold;

8）测试过程（和）

1.预注册：假设，度量，设计，尺寸，停止规则。
2.SRM/AA测试"空白"效果（几天）。
3.启动：调配自由度，规则引擎/ficheflags中的逻辑。
4.在线监控：AR/3DS/latency/health+guardrails。
5.alpha-spending的中间检查（如果已计划）。
6.完成和数据剥离：仅在考虑了资金/储备/晚期CB/refunds之后。
7.分析：通过GEO/BIN/方法/通道进行 CUPED/分层，灵敏度，异质性。
8.解决方案：滚出，滚回或倒退测试；更新规则/漫游。
9.文档和回顾：课程,阈值/权重更新。

9）反模式和陷阱

没有协议的Peeking/pere观看→虚假的胜利。
路由测试中的顺序级别随机化→双手之间的泄漏。
多重游戏（许多度量/切片）没有α校正。
不完整成本（忘记了FX/储备/回收功能）→错误的收费率。
没有SRM支票→偏移的结论。
非偶数回火→ 双授权/AR失真。

10）安全、合规和道德

Same-method/return-to-source不应被测试打破。
制裁/许可/GEO政策-在实验之外。
RG/负责任的游戏：不要为了AR而恶化防御机制。
PCI/GDPR：代币代替PAN，最大限度地减少个人数据，DPA/SOC2。

11） KPI dashboard实验

AR/DR，手臂和关键分层的置信间隔（GEO/BIN/方法）。

Cost-per-Approval, take-rate %, FX slippage (bps).

3DS pass/liability shift, soft-decline share.

Latency p95/p99，错误/时间戳。
CB/Refunds （lag-aware）, SRM,流量覆盖,持续时间。

12）最佳实践（简称）

1.在用户级别随机分层。
2.使用guardrails和SRM支票；捕获协议。
3.计算全部成本（fees+FX+reserve）和按成本计算。
4.将CUPED、群集故障和引导程序应用于成本指标。
5.对于关键风险-经典A/B；bandits-主要用于价格/AR任务。
6.在最终退出之前考虑资金/储备/晚期CB。
7.记录和验证规则；做后遗症。

13）发射支票清单

• 假设，度量，效果，设计，样本大小，时限。
• Unit randomization and strates, assignment service, ficheflagi.
• Guardrails/阈值，SRM/AA-precheck，Alertes。
• 标志/事件，等效性，状态正常化。
• Fees/FX/Reserve店面；报告货币。
• 停止计划（alpha-spending）和数据带。
• 花花公子滚出/滚回；成果文件。

总结

A/B支付方案测试是工程和统计学学科：正确的随机化和分层，完整的成本和风险指标，guardrails和SRM，整洁的分析（CUPED/clust-robastity/串行分析）和"战斗力"基础设施（相似性，遥测，恢复性）。遵循这种技术，你提高AR，降低所有收款率，同时不支付充电器和监管风险增加的"虚假胜利"。