Санҷиши интерфейси A/B

Муқаддима

Озмоиши A/B озмоиши идорашаванда мебошад, ки дар он ду (ё зиёда) версияи интерфейс дар корбарони воқеӣ муқоиса карда мешавад, то фаҳманд, ки кадом версия ба беҳтар шудани нишондиҳандаҳои маҳсулот оварда мерасонад. Ҳадаф коҳиш додани номуайянӣ дар қабули қарорҳо ва такмил додани UX тавассути тағироти тасдиқшаванда, на андешаҳо.

Вақте ки санҷиши A/B мувофиқ аст

Ҳадафи ченшаванда мавҷуд аст (табдилдиҳӣ, вақт ба амал, нигоҳ доштан, NPS, суръати вазифа).
Таъсири пешбинишуда номуайян нест ё метавонад аз рӯи сегмент фарқ кунад.
Хатари тағирот барои асоснок кардани озмоиш кофӣ аст.
Трафик ба шумо имкон медиҳад, ки намунаҳои аз ҷиҳати оморӣ муҳимро зуд ҷамъ кунед.

Вақте ки санҷидан беҳтар аст: микрокопҳо дар экранҳои истифоданашуда, хусусиятҳои вобастагии қавии шабака/иҷтимоӣ (аз ҳад зиёд таъсир), таҳрирҳое, ки омӯзиши дарозмуддати корбаронро талаб мекунанд.

Формулаи гипотеза

• Агар мо [X дар интерфейс] -ро барои [Y-segment/all] иваз кунем, пас [Z metric] ба [самт/миқёс] тағир меёбад, зеро [сабаби рафтор].

Мисол: Агар шумо CTA-и асосиро аз болои хати ҳаракат гузаронед ва шаклро аз 6 то 3 майдон кам кунед, пас CR амали ибтидоӣ аз сабаби кам шудани сурхшавӣ + 3-5% зиёд мешавад.

Нишондиҳандаҳо: Ҳадаф ва мудофиа

Ибтидоӣ: як калид - масалан, анҷом/табдили скрипти мақсаднок.
Дуюм: чуқурии ҳаракат, CTR, вақт ба амал, хатогиҳо, суръати саҳифа.
Гвардияҳо (муҳофизатӣ): устувории фаъолият (TTFB, LCP), баргардонидан/рад кардан, шикоятҳо/гардишҳо, риояи маҳдудиятҳои огоҳӣ, дастрасӣ.

Пешакӣ ислоҳ кардани MDE (таъсири ҳадди ақали муайяншаванда), равзанаи мушоҳида ва меъёрҳои муваффақият тавсия дода мешавад.

Тарҳи таҷрибавӣ

Тасодуфӣ ва воҳиди таҳлил

Воҳиди тасодуфӣ: корбар (user_id), баъзан сессия ё созмон (кластер).
Стратификатсия/бастани: тавассути дастгоҳ/канал, агар фарқиятҳои сахт вуҷуд дошта бошанд.
Аз ҳад зиёд пешгирӣ кунед, вақте ки рафтори як гурӯҳ ба гурӯҳи дигар таъсир мерасонад (масалан, рӯйхатҳо/лентаҳои муштарак). Дар чунин ҳолатҳо, озмоишҳои кластерӣ.

Андозаи намуна ва MDE (соддакардашуда)

Тахминӣ: табдили асосӣ камтар ва таъсир хурдтар бошад, ҳамон қадар намуна калонтар мешавад.
Барои CR ~ 10% ва MDE ~ + 5% таъсири нисбӣ, аксар вақт даҳҳо ҳазор мушоҳидаҳо барои як вариант талаб карда мешаванд.

Давомнокӣ

Тамаркуз ба давраи пурраи рафтори ҳафтаина + маржа (одатан 2-4 ҳафта) ё то расидан ба иқтидори банақшагирифташуда. Санҷишро пеш аз мӯҳлат қатъ накунед.

Гузариш (хуруҷи тадриҷӣ)

1-5% трафик (канарӣ) → 10-25% → 50% → 100%, бо мониторинги посбонҳо.

Сифат ва дурустии маълумот

SRM (Номутобиқатии таносуби намуна)

Тасдиқ кунед, ки тақсимоти воқеии трафик (A/B) тавре ба нақша гирифта шудааст (масалан, 50/50). Тамоюлҳои назаррас = фарогирӣ/парчам/бот.

Шиносоӣ ва дастгоҳи салиб

Истифодаи user_id устувор; дастгоҳҳои салиб, куки-пӯсида, авторизатсияро баъдтар дар ҳалқа баррасӣ кунед.

Ботҳо ва аномалияҳо

Намунаҳои ғайритабииро филтр кунед (кликҳои тез-тез, агентҳои корбари гумшуда, муроҷиаткунандагони беэътибор).

Мавсимӣ ва рӯйдодҳо

Санҷишҳоро барои давраҳои қавии "ғайримуқаррарӣ" (ид/фурӯш) иҷро накунед, агар он ҳадафи санҷиш набошад.

Таҳлили оморӣ

Равиши басомад (классикӣ)

Алфа ислоҳ кунед (одатан 0. 05) ва қудрат (одатан 80%).
Ҳар соат бидуни ислоҳ "пазмон нашавед" - хатари мусбатҳои бардурӯғ.
Барои якчанд ченакҳо/вариантҳо тасҳеҳотро истифода баред (Bonferroni/Holm/Hochberg) ё иерархияи ченакҳо.

Равиши Байесян

Тақсимоти эҳтимолияти таъсир ва эҳтимолияти бартарии вариантро ҳисоб мекунад.
Қулай барои мониторинги вақти воқеӣ ва қабули қарорҳои "кофӣ хуб".

CUPED/ковариатҳо

Кам кардани фарқият аз сабаби ковариатҳои пеш аз санҷиш (масалан, фаъолияти ҳафтаи гузашта) § қудрати тезтар ба даст оварда мешавад.

Қатъи пайдарпай/гурӯҳ