A/B interfeýsleri barlamak

Giriş

A/B synagy, interfeýsiň iki (ýa-da has köp) wersiýasy haýsy wersiýanyň iň gowy önüm metriklerine sebäp bolýandygyna düşünmek üçin hakyky ulanyjylarda deňeşdirilýän gözegçilik edilýän synag. Maksat karar bermekde näbelliligi azaltmak we pikirleri däl-de, barlanylýan üýtgeşmeler arkaly UX-ni gowulandyrmakdyr.

A/B-synag ýerlikli bolanda

Ölçegli maksat bar (öwrülişik, hereket etmezden öň wagt, saklamak, NPS, wezipe tizligi).
Garaşylýan täsir aýdyň däl ýa-da segmentleri boýunça tapawutlanyp biler.
Üýtgeşme töwekgelçiligi synagy aklamak üçin ýeterlikdir.
Traffik statistik taýdan möhüm nusgany çalt ýygnamaga mümkinçilik berýär.

Haçan-da synagdan geçirmezlik has gowudyr: az ulanylýan ekranlarda mikrokopiýalar, güýçli tor/sosial garaşlylygy bolan çitler (täsirleriň köpelmegi), ulanyjylary uzak wagtlap öwrenmegi talap edýän düzedişler.

Çaklamanyň formulasy

[Y-segment/hemmeler] üçin [X interfeýsini] üýtgetsek, [Z metrikasy] [ugur/ululyk] üýtgär, sebäbi [özüni alyp barşyň sebäbi].

Mysal: Eger esasy CTA-ny egme çyzygyndan ýokary göterip, 6-dan 3-e çenli azalýan bolsa, onda ilkinji hereket CR-i sürtülmegi azaltmak arkaly + 3-5% ýokarlanar.

Metrikler: Maksat we gorag

Primary (esasy): bir esasy - mysal üçin, maksatly ssenariýany tamamlamak/öwrülişik.
Secondary: aýlawyň çuňlugy, CTR, hereket ediş wagty, ýalňyşlyklar, sahypa tizligi.
Guardrails (gorag): öndürijiligiň durnuklylygy (TTFB, LCP), yzyna gaýtarylmalar/şowsuzlyklar, şikaýatlar/şowsuzlyklar, habarnamalaryň çäklerini berjaý etmek, elýeterlilik.

MDE (iň az kesgitlenen täsir), gözegçilik penjiresini we üstünlik ölçeglerini öňünden düzetmek maslahat berilýär.

Synagyň dizaýny

Randomizasiýa we derňew birligi

Randomizasiýa birligi: ulanyjy (user_id), käwagt - sessiýa ýa-da gurama (klaster).
Gatlaklaşdyrmak/blokirlemek: enjamlar/kanallar boýunça, eger güýçli tapawutlar bar bolsa.
Interference (interference): Bir toparyň özüni alyp barşy beýlekisine täsir edeninden gaça duruň (mysal üçin umumy sanawlar/lentalar). Şeýle ýagdaýlarda - klaster synaglary.

Nusganyň ululygy we MDE (ýönekeýleşdirilen)

Takmynan: esasy öwrülişik näçe pes bolsa we täsir näçe az bolsa, şonça-da köp nusga.
CR ~ 10% we MDE ~ + 5% degişlilikde täsir etmek üçin köplenç bir wariant üçin on müňlerçe syn gerek.

Dowamlylygy

Özüňi alyp barşyň doly hepdelik sikline gönükdiriň + ätiýaçlyk (adatça 2-4 hepde) ýa-da meýilleşdirilen kuwwata ýetýänçä. Synagy wagtyndan öň saklamaň.

Ramp-ap (kem-kemden çykarmak)

1-5% traffik (canary) → 10-25% → 50% → 100%, guardrails gözegçiligi bilen.

Maglumatlaryň hili we ygtybarlylygy

SRM (Sample Ratio Mismatch)

Traffigiň hakyky paýlanyşynyň (A/B) meýilnama laýyk gelýändigini barlaň (mysal üçin 50/50). Möhüm gyşarmalar = goşulma/baýdak/bot meselesi.

Şahsyýet we kross-enjam

Durnukly user_id ulanyň; kross-enjamlary, cookie-decay, soňra hunide ygtyýarlylygy göz öňünde tutuň.

Botlar we anomaliýalar

Tebigy däl patternleri süzüň (ýokary tizlikli basmalar, ýok user-agentler, galp däl salgylanmalar).

Möwsümlilik we wakalar

Güýçli "anomal" döwürler (dynç alyş/satuw) üçin synaglary başlamaň, eger bu synagyň maksady bolmasa.

Statistika seljermesi

Ýygylyk çemeleşmesi (nusgawy)

Alfa (adatça 0.05) we güýç (adatça 80%) düzediň.
Her sagat düzedişsiz "seretmäň" - ýalan oňyn töwekgelçilik.
Köp metrikler/wariantlar üçin düzedişleri (Bonferroni/Holm/Hochberg) ýa-da metrikleriň iýerarhiýasyny ulanyň.

Baýesow çemeleşmesi

Täsiriň ähtimallygynyň paýlanyşyna we wariantyň artykmaçlygynyň ähtimallygyna baha berýär.
Hakyky wagtda gözegçilik etmek we "ýeterlik derejede" karar bermek üçin amatly.

CUPED/kowariatlar

Synagdan öňki kowariatyň hasabyna dispersiýanyň peselmegi (mysal üçin, geçen hepdäniň işjeňligi) → kuwwata has çalt ýetilýär.

Yzygiderli/toparlaýyn duralgalar