Συγκριτική αξιολόγηση και σύγκριση επιδόσεων

Σύντομη Περίληψη

1. Διατύπωση υποθέσεων και μετρήσεων.

2. Μεταβλητές ελέγχου (υλικό, πυρήνας, ισχύς, θόρυβος υποβάθρου).

3. Συλλέξτε αρκετά δεδομένα (αντίγραφα, διαστήματα εμπιστοσύνης).

4. Κάντε προφίλ - χωρίς αυτό δεν μπορείτε να καταλάβετε το «γιατί».

5. Do repro: σενάρια, διορθώσεις εκδόσεων και αντικείμενα.

Στόχοι αναφοράς και επιχειρηματικές μετρήσεις

Απόδοση: RPS/QPS/CPS, γράφει/sec

Καθυστέρηση: p50/p95/p99/πυκνότητα ουράς.
Αποτελεσματικότητα: Cost-per-1k RPS, watt ανά συναλλαγή, βελτίωση $/χιλιοστό του δευτερολέπτου.
Σταθερότητα: νευρικότητα, μεταβλητότητα μεταξύ κύκλων/κόμβων.
Ελαστικότητα: πώς οι δείκτες κλιμακώνονται σε N × πόρους (σημεία αναφοράς Amdahl/Gustafson).

Μεθοδολογία: πειραματικός σχεδιασμός

Υπόθεση: «Ο απεσταλμένος με HTTP/3 θα μειώσει το p95 TTFB κατά 10-15% με την ίδια RPS».
Μονάδα σύγκρισης: κατασκευή/config/παράδειγμα έκδοσης του σιδήρου.
Διάγραμμα A/B: παράλληλη εκτέλεση σε πανομοιότυπο περιβάλλον. ή ABAB/Latin Square για τη μείωση των επιπτώσεων της μετατόπισης.
Αριθμός επαναλήψεων: ≥ 10 βραχείες + 3 μακρινές διαδρομές ανά διάταξη για σταθερές αξιολογήσεις.
Στατιστικές: μεσαία, MAD, διαστήματα εμπιστοσύνης bootstrap. μη παραμετρικές δοκιμές (Mann-Whitney) για διανομές «ουράς».
DoE (ελάχιστο): Αλλαγή μιας μεταβλητής τη φορά (OVAT) ή παραγοντοποίησης παραγόντων για 2-3 παράγοντες (για παράδειγμα, προφίλ TLS × έκδοση HTTP × πυρήνας).

Έλεγχος μεταβλητής και θορύβου

Κυβερνήτης της CPU: 'performance', απενεργοποίηση της «αποθήκευσης ισχύος».
Turbo/Throttling: παρακολούθηση συχνοτήτων, θερμοκρασιών και στραγγαλισμού (διαφορετικά η προθέρμανση θα αποφέρει ψευδή κέρδη).
NUMA/Hyper- Threading: pin IRQs και διαδικασίες ('taskset/numactl'), μέτρηση τοποθεσίας μνήμης.
Ζυγός C/IRQ: καθορίστε τις ρυθμίσεις. για δοκιμές δικτύου - πείρος IRQ για ειδικά δοκίμια.
Διαδικασίες υποβάθρου: καθαρός κόμβος, απενεργοποίηση cron/backup/antivirus/updatedb.
Δίκτυο: σταθερές διαδρομές, σταθερές MTU/ECN/AQM, χωρίς πτερύγιο καναλιών.
Δεδομένα: ίδια σύνολα, πληθικότητα και διανομές.
Διαχωρισμός «ψυχρών» (πρώτο πέρασμα) και «θερμών» (επαναλαμβανόμενων) τρόπων λειτουργίας, με σαφή σήμανση.

Κατηγορίες δεικτών αναφοράς

1) Μικροσκοπικοί δείκτες αναφοράς (λειτουργία/αλγόριθμος)

Σκοπός: Μέτρηση ειδικού κωδικού/αλγορίθμου.
Εργαλεία: ενσωματωμένα πλαίσια πάγκου (Go 'testing. B ', JMH, pytest-benchmark).
Κανόνες: προθέρμανση JIT, χιλιοστά του δευτερολέπτου → νανοδευτερόλεπτα. απομόνωση GC· μόνιμοι σπόροι.

2) Δείκτες αναφοράς μέσου (συνιστώσα/υπηρεσία)

Εξυπηρετητής HTTP, κρύπτη, μεσίτης, βάση δεδομένων σε έναν κόμβο.
Εργαλεία: wrk/wrk2, k6 (ανοικτό μοντέλο), vegeta, ghz (gRPC), fio, sysbench, iperf3.
Κανόνες: όρια σύνδεσης/αρχείου, κοινοπραξίες· Έκθεση CPU/IRQ/GC.

3) Μακροοικονομικοί δείκτες αναφοράς (διαδρομή e2e/αίτησης)

Πλήρης τρόπος: CDN/edge → proxy → service → DB/cache → απάντηση.
Εργαλεία: k6/Locust/Gatling + ιχνηλάτηση RUM/Otel. ένα ρεαλιστικό μείγμα διαδρομών.
Κανόνες: πιο κοντά στην πραγματικότητα («βρώμικα» δεδομένα, υστερήσεις εξωτερικών συστημάτων), πολύ καλά με ρετρά.

Μετρήσεις ανά στρώμα

Πρότυπα και εντολές δοκιμών

bash iperf3 -s # server iperf3 -c <host> -P 8 -t 60 # parallel, stable bandwidth

bash wrk2 -t8 -c512 -d5m -R 20000 https://api. example. com/endpoint \
--latency --timeout 2s

javascript export const options = {
scenarios: { open: { executor: 'constant-arrival-rate', rate: 1000, timeUnit: '1s',
duration: '10m', preAllocatedVUs: 2000 } },
thresholds: { http_req_failed: ['rate<0. 3%'], http_req_duration: ['p(95)<250'] }
};

bash fio --name=randread --rw=randread --bs=4k --iodepth=64 --numjobs=4 \
--size=4G --runtime=120 --group_reporting --filename=/data/testfile

bash sysbench oltp_read_write --table-size=1000000 --threads=64 \
--pgsql-host=... --pgsql-user=... --pgsql-password=... prepare sysbench oltp_read_write --time=600 --threads=64 run

bash perf stat -e cycles,instructions,cache-misses,L1-dcache-load-misses \
-- <your_binary> --bench

Στατιστικές και ισχύς

Επαναλήψεις: ελάχιστες 10 διαδρομές, εξαιρουμένων των ακραίων τιμών (ισχυρές: διάμεση τιμή/MAD).
Διαστήματα εμπιστοσύνης: bootstrap 95% CI για p95/p99 και μέσα.
Μέγεθος επίδρασης: σχετική μεταβολή και ο ΚΚΠ της (π.χ. − 12% [− 9%· − 15%]).

Πρακτική σημασία: μείωση κατά 10% του p95 σε τιμή + 30% ΚΜΕ - αξίζει τον κόπο

Γραφήματα: βιολί/ECDF για διανομές, «καμπύλες κορεσμού» (RPS→latency).

Προσδιορισμός προφίλ και εντοπισμός σημείων συμφόρησης

ΚΜΕ: 'perf', 'async-profiler', eBPF/πυροσκόπιο. Φλαμέριφ πριν και μετά.
Housing/GC: προφίλ χρόνου λειτουργίας (Go pprof/Java JFR).
I/O: 'iostat', 'blktrace', 'fio --lat_percentiles=1'.
: 'ss- ,' ethtool -S ',' dropwatch ',' tc-s qdis .
«ΕΞΗΓΗΣΗ (ΑΝΑΛΥΣΗ, ΡΥΘΜΙΣΤΕΣ ΕΝΕΡΓΕΙΑΣ)», , βραδύτητα.
Μετρητά: κορυφαία κλειδιά, TTL, αιτία έξωσης.

Υποβολή εκθέσεων και τεχνουργήματα

• Σημαίες κατασκευής, συλλογής/βελτιστοποίησης git SHA.
• Ρυθμίσεις πυρήνα/δικτύου (sysctl), εκδόσεις οδηγού/NIC/firmware.
• Τοπολογία (vCPU/NUMA/HT), ρυθμιστής θερμοκρασίας/συχνοτήτων.
• Στοιχεία: μέγεθος, πληθικότητα, διανομές.
• Τι να δημοσιεύσετε: p50/p95/p99 πίνακες, σφάλμα/sec, απόδοση, πόροι (CPU/RAM/IO), CI.
• Τεχνουργήματα: εκτελέστε σενάρια, γραφήματα, φλαμέγραφο, ακατέργαστα αποτελέσματα JSON/CSV, περιβαλλοντικό πρωτόκολλο.

Εύλογη συγκριτική αξιολόγηση

Πανομοιότυποι περιοριστές (conn pool, keepalive, chain TLS, OCSP stappling).
Timeouts/retrays με διαπραγμάτευση και έκδοση HTTP (h2/h3).
Ισορροπία θερμοκρασίας: προθέρμανση σε ισορροπία (χωρίς επίδραση στροβιλοκινητήρα).
Fair caches: Είτε «κρύο» είτε και τα δύο «ζεστό».
Συμμετρία δικτύου: ίδιες διαδρομές/MTU/ECN/AQM.
Χρονικός προϋπολογισμός: DNS/TLS/σύνδεση - καταμέτρηση ρητά ή αποκλείεται εξίσου.

Αντι-μοτίβα

Μία εκτέλεση → «έξοδος».
Ανάμειξη τρόπων λειτουργίας (μέρος κρύο, μέρος ζεστό) σε μία σειρά.
Ένα κλειστό μοντέλο αντί για ανοιχτό για το Ίντερνετ φορτίο → ψευδής «σταθερότητα».
Μη υπολογισθέντα retrays → «RPS μεγαλώνει» με κόστος λήψης και κατάτμησης 5xx.
Σύγκριση σε διαφορετικούς αδένες/πυρήνες/κυκλώματα ισχύος.
Δεν υπάρχει προφίλ → τυφλή βελτιστοποίηση.
Παίζοντας με GC/σωρό χωρίς ανάλυση προφίλ → οπισθοδρόμηση ουράς.

Πρακτικές συνταγές

1. Διόρθωση περιβάλλοντος (σενάριο 'env _ capture. sh ').

2. Προθέρμανση (5-10 λεπτά), συχνότητες/θερμοκρασίες καταγραφής.

3. Διεξαγωγή επαναλήψεων N βραχυπρόθεσμα + 1 μακροπρόθεσμα.

4. Απομακρύνετε τα προφίλ (CPU/attachment/IO) στην κορυφή.

5. Υπολογισμός CI/γραφημάτων, συλλογή αντικειμένων.

6. Λύση: αποδοχή/απόρριψη της υπόθεσης, σχηματισμός των επόμενων βημάτων.

• Βαθμίδες RPS (10% της βαθμίδας) → διορθώστε p95/σφάλματα → βρείτε το «γόνατο».
• Καταρτίζουμε ένα χρονοδιάγραμμα RPS→latency και RPS→CPU: βλέπουμε τα σύνορα και το κόστος επιπλέον%.

iGaming/fintech special

Κόστος ανά χιλιοστό του δευτερολέπτου: Βελτιώσεις κατά $ effect (μετατροπή/churn/όρια PSP).
Κορυφές (αγώνες/τουρνουά): αιχμή + οροπέδια αναφοράς με TLS/CDN/cache προθέρμανση.
Πληρωμές/ΠΥΠ: μέτρηση από τέλος σε τέλος με όρια αμμοκιβωτίου, ιδιοτέλεια και αντιδράσεις στην αποικοδόμηση. Ορισμός χρόνου προς πορτοφόλι με μετρήσεις διαμεσολαβητή.
Φίλτρα καταπολέμησης της απάτης/ρομπότ: να συμπεριληφθεί ένα προφίλ κανόνων στον μακροεντολέα (ψευδώς θετικό ποσοστό, πρόσθετο καθυστέρησης).
Ηγέτες/τζάκποτ: Δοκιμαστικά καυτά κλειδιά/κατάταξη, κλειδαριές, ατομικότητα.

Κατάλογος ελέγχου συγκριτικής αξιολόγησης

• Υπόθεση/μετρήσεις/κριτήριο επιτυχίας.
• Μεταβλητή παρακολούθηση (ισχύς/NUMA/IRQ/δίκτυο/μνήμη).
• Σχέδιο εκτέλεσης (αντίγραφα, διάρκεια, προθέρμανση)
• Ψυχρός/θερμός διαχωρισμός.
• Ενεργοποιημένη διαμόρφωση προφίλ (CPU/automatic/IO/DB).
• Στατιστικές: CI, δοκιμές σημασίας, γραφήματα.
• Αντικείμενα και σενάρια αναπαραγωγής στο αποθετήριο (IaC για τον πάγκο).
• Έκθεση με «βελτίωση του κόστους» και συστάσεις.
• παλινδρόμηση perf.

Mini-report (υπόδειγμα)

Ο στόχος είναι να μειωθεί η p95 API κατά 15% χωρίς αύξηση της CPU> 10%.
Μέθοδος: A/B, k6 open-model 1k rps, 10 × 3 runs, ζεστή μνήμη.
Σύνολο: p95 − 12% [− 9%· − 15%], ΚΜΕ + 6%, 5xx αμετάβλητο.
Flamegraph: ↓ σειρά JSON (− 30% ΚΜΕ), το σημείο συμφόρησης μετατοπίστηκε στη βάση δεδομένων.
Απόφαση: αποδοχή της βελτιστοποίησης. το επόμενο βήμα είναι η ομαδοποίηση των αιτήσεων της βάσης δεδομένων.
Τεχνουργήματα: γραφικά, προφίλ, ρυθμίσεις, ακατέργαστο JSON.

Σύνολο

Η ορθή συγκριτική αξιολόγηση είναι αυστηρή μεθοδολογία + δίκαιες συγκρίσεις + στατιστική εγκυρότητα + προσδιορισμός προφίλ + αναπαραγωγιμότητα. Υποθέτουμε, ελέγχουμε το περιβάλλον, διαβάζουμε διαστήματα εμπιστοσύνης, δημοσιεύουμε αντικείμενα και παίρνουμε αποφάσεις για το κόστος της βελτίωσης. Έτσι δεν θα έχετε μια όμορφη φιγούρα στην παρουσίαση, αλλά μια πραγματική αύξηση στην ταχύτητα και την προβλεψιμότητα της πλατφόρμας.