Δοκιμή διεπαφής A/B
Εισαγωγή
A/B δοκιμή είναι ένα ελεγχόμενο πείραμα όπου δύο (ή περισσότερες) εκδόσεις μιας διεπαφής συγκρίνονται σε πραγματικούς χρήστες για να κατανοήσουν ποια έκδοση οδηγεί σε καλύτερες μετρήσεις προϊόντων. Στόχος είναι να μειωθεί η αβεβαιότητα στη λήψη αποφάσεων και να βελτιωθεί η UX μέσω επαληθεύσιμων αλλαγών και όχι γνωμοδοτήσεων.
Όταν ενδείκνυται δοκιμή Α/Β
Υπάρχει ένας μετρήσιμος στόχος (μετατροπή, χρόνος σε δράση, κράτηση, NPS, ταχύτητα εργασίας).
Το αναμενόμενο αποτέλεσμα δεν είναι προφανές ή μπορεί να διαφέρει ανά τμήμα.
Ο κίνδυνος αλλαγής είναι αρκετά υψηλός ώστε να δικαιολογεί το πείραμα.
Η κίνηση σας επιτρέπει να συλλέξετε γρήγορα ένα στατιστικά σημαντικό δείγμα.
Όταν είναι καλύτερο να μην δοκιμάζονται: μικροεπισκοπίες σε υποχρησιμοποιούμενες οθόνες, χαρακτηριστικά με ισχυρή δικτυακή/κοινωνική εξάρτηση (υπερχείλιση επιπτώσεων), επεξεργασίες που απαιτούν μακροπρόθεσμη κατάρτιση των χρηστών.
Σύνθεση υπόθεσης
Υπόδειγμα:- Αν αλλάξουμε [X στη διεπαφή] για [Y-τμήμα/όλα], τότε [Z μέτρηση] θα αλλάξει σε [κατεύθυνση/μέγεθος] επειδή [συμπεριφορικός λόγος].
Παράδειγμα: Αν μετακινήσετε το κύριο CTA πάνω από τη γραμμή αύξησης και μειώσετε το σχήμα από 6 σε 3 πεδία, τότε το CR της πρωτογενούς δράσης θα αυξηθεί κατά + 3-5% λόγω της μείωσης της τριβής.
Μετρήσεις: Στόχος και άμυνα
Πρωταρχικό: ένα κλειδί - για παράδειγμα, ολοκλήρωση/μετατροπή σεναρίου-στόχου.
Δευτερεύουσα: βάθος κύλισης, CTR, χρόνος έως τη δράση, σφάλματα, ταχύτητα σελίδας.
Guardrails (προστατευτικό): σταθερότητα απόδοσης (TTFB, LCP), επιστροφές/αρνήσεις, καταγγελίες/ανατροπές, συμμόρφωση με τα όρια κοινοποίησης, διαθεσιμότητα.
Συνιστάται ο εκ των προτέρων καθορισμός του MDE (ελάχιστο ανιχνεύσιμο αποτέλεσμα), του παραθύρου παρατήρησης και των κριτηρίων επιτυχίας.
Σχεδιασμός πειραμάτων
Τυχαιοποίηση και μονάδα ανάλυσης
Μονάδα τυχαιοποίησης: χρήστης (user_id), μερικές φορές συνεδρία ή οργάνωση (σμήνος).
Διαστρωμάτωση/απόφραξη: με συσκευή/δίαυλο εάν υπάρχουν έντονες διαφορές.
Overflow-Αποφύγετε όταν η συμπεριφορά μιας ομάδας επηρεάζει μια άλλη (για παράδειγμα, κοινές λίστες/ταινίες). Σε τέτοιες περιπτώσεις, δοκιμές διασποράς.
Μέγεθος δείγματος και MDE (απλουστευμένο)
Όσο χαμηλότερη είναι η βασική μετατροπή και τόσο μικρότερο είναι το αποτέλεσμα, τόσο μεγαλύτερο είναι το δείγμα.
Για CR ~ 10% και MDE ~ + 5% του σχετικού αποτελέσματος, συχνά απαιτούνται δεκάδες χιλιάδες παρατηρήσεις ανά παραλλαγή.
Διάρκεια
Εστίαση στον πλήρη κύκλο εβδομαδιαίας συμπεριφοράς + περιθώριο (συνήθως 2-4 εβδομάδες) ή μέχρι την επίτευξη της προγραμματισμένης χωρητικότητας. Μην σταματήσετε πρόωρα τη δοκιμή.
Ramp-up (σταδιακή απόσυρση)
1-5% της κυκλοφορίας (καναρίνι) → 10-25% → 50% → 100%, με παρακολούθηση των φρουρών.
Ποιότητα και ισχύς των δεδομένων
SRM (Αναντιστοιχία λόγου δείγματος)
Επαλήθευση ότι η πραγματική κατανομή της κυκλοφορίας (A/B) είναι η προβλεπόμενη (για παράδειγμα, 50/50). Σημαντικές αποκλίσεις = ενσωμάτωση/πρόβλημα σημαίας/ρομπότ.
Ταυτότητα και διασταυρούμενη συσκευή
Να χρησιμοποιείται σταθερή user_id. να εξετάσει τις διασταυρούμενες διατάξεις, τη διάσπαση των cookie, την έγκριση αργότερα στη χοάνη.
Bots και ανωμαλίες
Φίλτρο αφύσικων μοτίβων (εξαιρετικά γρήγορα κλικ, ελλείποντες παράγοντες χρήστη, μη έγκυροι παραπεμπτές).
Εποχικότητα και εκδηλώσεις
Δεν διενεργούνται δοκιμές για ισχυρές «μη φυσιολογικές» περιόδους (διακοπές/πωλήσεις), εκτός εάν αυτός είναι ο σκοπός της δοκιμής.
Στατιστική ανάλυση
Προσέγγιση συχνότητας (κλασική)
Διόρθωση άλφα (συνήθως 0. 05) και ισχύ (συνήθως 80%).
Μην «κρυφοκοιτάτε» κάθε ώρα χωρίς προσαρμογές - ο κίνδυνος ψευδών θετικών.
Για πολλαπλές μετρήσεις/παραλλαγές, εφαρμόστε προσαρμογές (Bonferroni/Holm/Hochberg) ή μια ιεραρχία μετρήσεων.
Προσέγγιση Bayesian
Εκτιμάται η κατανομή πιθανοτήτων της επίδρασης και η πιθανότητα ανωτερότητας της παραλλαγής.
Βολικό για παρακολούθηση σε πραγματικό χρόνο και «αρκετά καλή» λήψη αποφάσεων.
CUPED/συν-μεταβλητές
Μείωση της διακύμανσης λόγω προσομοιώσεων πριν από τη δοκιμή (π.χ. δραστηριότητα της περασμένης εβδομάδας) → επιτυγχάνεται ταχύτερη ισχύς.