A/B 인터페이스 테스트

소개

A/B 테스트는 실제 사용자에 대해 두 개 이상의 버전의 인터페이스를 비교하여 어떤 버전이 더 나은 제품 메트릭으로 이어지는 지 이해하는 제어 된 실험입니다. 목표는 의견보다는 검증 가능한 변화를 통해 의사 결정의 불확실성을 줄이고 UX를 개선하는 것입니다.

A/B 테스트가 적절한 경우

측정 가능한 목표 (변환, 동작 시간, 보류, NPS, 작업 속도) 가 있습니다.

예상 효과는 명확하지 않거나 세그먼트에 따라 다를 수 있습니다

변화의 위험은 실험을 정당화하기에 충분히 높습니다.

트래픽을 통해 통계적으로 중요한 샘플을 신속하게 수집 할 수 있습니

테스트하지 않는 것이 좋은 경우: 사용하지 않는 화면의 마이크로 카피, 강력한 네트워크/사회적 의존성 (효과의 오버플로) 기능, 장기적인 사용자 교육이 필요한 편집.

가설 제형

[Y- 세그먼트/all] 에 대해 [X 인터페이스] 를 변경하면 [행동 이유] 때문에 [Z 메트릭] 이 [방향/크기] 로 변경됩니다.

예: 메인 CTA를 주름 선 위로 이동하고 모양을 6에서 3으로 줄이면 마찰 감소로 인해 1 차 동작의 CR이 + 3-5% 증가합니다.

메트릭: 목표 및 방어

기본: 하나의 키-예를 들어 대상 스크립트 완료/변환.
2 차: 스크롤 깊이, CTR, 동작 시간, 오류, 페이지 속도.
Guardrails (보호): 성능 안정성 (TTFB, LCP), 반품/거부, 불만/롤백, 알림 제한 준수, 가용성.

MDE (최소 감지 가능한 효과), 관측 창 및 성공 기준을 미리 수정하는 것이 좋습니다.

실험 디자인

무작위 화 및 분석 단위

무작위 화 장치: 사용자 (user _ id), 때로는 세션 또는 조직 (클러스터).
배열/차단: 큰 차이가있는 경우 장치/채널별로.
한 그룹의 동작이 다른 그룹에 영향을 미치는 경우 (예: 공유 목록/테이프) 오버플로를 피하십시오. 이러한 경우 클러스터 테스트.

샘플 크기 및 MDE (단순화)

대략적으로: 기본 변환이 낮을수록 효과가 작을수록 샘플이 커집니다.
상대 효과의 CR ~ 10% 및 MDE ~ + 5% 의 경우 변형 당 수만 건의 관측이 종종 필요합니다.

기간

전체 주간 동작주기 + 마진 (보통 2-4 주) 또는 계획된 용량에 도달 할 때까지 집중하십시오. 테스트를 조기에 중지하지 마십시오.

램프 업 (점진적 철수)

트래픽 (카나리아) 의 1-5% → 10-25% → 50% → 100%, 가드 레일 모니터링.

데이터 품질 및 유효성

SRM (샘플 비율 불일치)

실제 트래픽 분포 (A/B) 가 계획대로 유효한지 확인하십시오 (예: 50/50). 중요한 편차 = 포함/플래그/봇 문제.

신원 및 교차 장치

(PHP 3 = 3.0.6, PHP 4) 나중에 깔때기에서 교차 장치, 쿠키 붕괴, 승인을 고려하십시오.

봇과 이상

비 자연스러운 패턴 필터 (초고속 클릭, 누락 된 사용자 에이전트, 유효하지 않은 추천 자).

계절성 및 이벤트

테스트의 목적이 아닌 한 강력한 "비정상적인" 기간 (휴일/판매) 에 대한 테스트를 실행하지 마십시오.

통계 분석

주파수 접근 (클래식)

알파 수정 (보통 0. 05) 및 전력 (보통 80%).
조정없이 매 시간마다 "들여다 보지 마십시오" -오 탐지의 위험.
여러 메트릭/변형의 경우 조정 (Bonferroni/Holm/Hochberg) 또는 메트릭 계층 구조를 적용하십시오.

베이지안 접근

효과의 확률 분포와 변형의 우월성 확률을 추정합니다.
실시간 모니터링 및 "충분히" 의사 결정을위한 편리함.

CUPED/공변량

테스트 전 공변량 (예: 지난 주 활동) 으로 인한 차이 감소 → 더 빠른 전력이 달성됩니다.

순차/그룹 정지