A/B interfeýsleri barlamak
Giriş
A/B synagy, interfeýsiň iki (ýa-da has köp) wersiýasy haýsy wersiýanyň iň gowy önüm metriklerine sebäp bolýandygyna düşünmek üçin hakyky ulanyjylarda deňeşdirilýän gözegçilik edilýän synag. Maksat karar bermekde näbelliligi azaltmak we pikirleri däl-de, barlanylýan üýtgeşmeler arkaly UX-ni gowulandyrmakdyr.
A/B-synag ýerlikli bolanda
Ölçegli maksat bar (öwrülişik, hereket etmezden öň wagt, saklamak, NPS, wezipe tizligi).
Garaşylýan täsir aýdyň däl ýa-da segmentleri boýunça tapawutlanyp biler.
Üýtgeşme töwekgelçiligi synagy aklamak üçin ýeterlikdir.
Traffik statistik taýdan möhüm nusgany çalt ýygnamaga mümkinçilik berýär.
Haçan-da synagdan geçirmezlik has gowudyr: az ulanylýan ekranlarda mikrokopiýalar, güýçli tor/sosial garaşlylygy bolan çitler (täsirleriň köpelmegi), ulanyjylary uzak wagtlap öwrenmegi talap edýän düzedişler.
Çaklamanyň formulasy
Şablon:[Y-segment/hemmeler] üçin [X interfeýsini] üýtgetsek, [Z metrikasy] [ugur/ululyk] üýtgär, sebäbi [özüni alyp barşyň sebäbi].
Mysal: Eger esasy CTA-ny egme çyzygyndan ýokary göterip, 6-dan 3-e çenli azalýan bolsa, onda ilkinji hereket CR-i sürtülmegi azaltmak arkaly + 3-5% ýokarlanar.
Metrikler: Maksat we gorag
Primary (esasy): bir esasy - mysal üçin, maksatly ssenariýany tamamlamak/öwrülişik.
Secondary: aýlawyň çuňlugy, CTR, hereket ediş wagty, ýalňyşlyklar, sahypa tizligi.
Guardrails (gorag): öndürijiligiň durnuklylygy (TTFB, LCP), yzyna gaýtarylmalar/şowsuzlyklar, şikaýatlar/şowsuzlyklar, habarnamalaryň çäklerini berjaý etmek, elýeterlilik.
MDE (iň az kesgitlenen täsir), gözegçilik penjiresini we üstünlik ölçeglerini öňünden düzetmek maslahat berilýär.
Synagyň dizaýny
Randomizasiýa we derňew birligi
Randomizasiýa birligi: ulanyjy (user_id), käwagt - sessiýa ýa-da gurama (klaster).
Gatlaklaşdyrmak/blokirlemek: enjamlar/kanallar boýunça, eger güýçli tapawutlar bar bolsa.
Interference (interference): Bir toparyň özüni alyp barşy beýlekisine täsir edeninden gaça duruň (mysal üçin umumy sanawlar/lentalar). Şeýle ýagdaýlarda - klaster synaglary.
Nusganyň ululygy we MDE (ýönekeýleşdirilen)
Takmynan: esasy öwrülişik näçe pes bolsa we täsir näçe az bolsa, şonça-da köp nusga.
CR ~ 10% we MDE ~ + 5% degişlilikde täsir etmek üçin köplenç bir wariant üçin on müňlerçe syn gerek.
Dowamlylygy
Özüňi alyp barşyň doly hepdelik sikline gönükdiriň + ätiýaçlyk (adatça 2-4 hepde) ýa-da meýilleşdirilen kuwwata ýetýänçä. Synagy wagtyndan öň saklamaň.
Ramp-ap (kem-kemden çykarmak)
1-5% traffik (canary) → 10-25% → 50% → 100%, guardrails gözegçiligi bilen.
Maglumatlaryň hili we ygtybarlylygy
SRM (Sample Ratio Mismatch)
Traffigiň hakyky paýlanyşynyň (A/B) meýilnama laýyk gelýändigini barlaň (mysal üçin 50/50). Möhüm gyşarmalar = goşulma/baýdak/bot meselesi.
Şahsyýet we kross-enjam
Durnukly user_id ulanyň; kross-enjamlary, cookie-decay, soňra hunide ygtyýarlylygy göz öňünde tutuň.
Botlar we anomaliýalar
Tebigy däl patternleri süzüň (ýokary tizlikli basmalar, ýok user-agentler, galp däl salgylanmalar).
Möwsümlilik we wakalar
Güýçli "anomal" döwürler (dynç alyş/satuw) üçin synaglary başlamaň, eger bu synagyň maksady bolmasa.
Statistika seljermesi
Ýygylyk çemeleşmesi (nusgawy)
Alfa (adatça 0.05) we güýç (adatça 80%) düzediň.
Her sagat düzedişsiz "seretmäň" - ýalan oňyn töwekgelçilik.
Köp metrikler/wariantlar üçin düzedişleri (Bonferroni/Holm/Hochberg) ýa-da metrikleriň iýerarhiýasyny ulanyň.
Baýesow çemeleşmesi
Täsiriň ähtimallygynyň paýlanyşyna we wariantyň artykmaçlygynyň ähtimallygyna baha berýär.
Hakyky wagtda gözegçilik etmek we "ýeterlik derejede" karar bermek üçin amatly.
CUPED/kowariatlar
Synagdan öňki kowariatyň hasabyna dispersiýanyň peselmegi (mysal üçin, geçen hepdäniň işjeňligi) → kuwwata has çalt ýetilýär.