Παρακολούθηση μοντέλου

1) Γιατί

Στόχος είναι να διατηρηθεί η ποιότητα και η ασφάλεια των λύσεων του μοντέλου στην πώληση, ενώ παράλληλα θα τηρούνται οι SLA/SLO, RG/AML/Νομικοί και προϋπολογισμοί. Η παρακολούθηση θα πρέπει να ανιχνεύει την πρόωρη υποβάθμιση (δεδομένα, βαθμονόμηση, καθυστέρηση, κόστος), να ελαχιστοποιεί το αναμενόμενο κόστος των σφαλμάτων και να εξασφαλίζει την αναπαραγωγιμότητα/έλεγχο.

2) Πεδία παρακολούθησης (χάρτης)

1. Διαθεσιμότητα και απόδοση: καθυστέρηση p95/p99, ρυθμός σφάλματος, RPS, αυτόματη κλιμάκωση.
2. Ποιότητα πρόβλεψης: PR- AUC/KS (σε επιγραμμικές ετικέτες), βαθμονόμηση (ECE), αναμενόμενο κόστος @ κατώφλι.
3. Μετατόπιση και σταθερότητα: PSI/KL από χαρακτηριστικά και ταχύτητα, αλλαγή κατανομής/κατηγοριών.
4. Κάλυψη και πληρότητα: το μερίδιο των αιτήσεων που εξυπηρετούνται επιτυχώς, το μερίδιο των «κενών» χαρακτηριστικών, κρυψώνες hit-rate.
5. Φέτες/Δικαιοσύνη: μετρήσεις ανά αγορά/πάροχο/συσκευή/ηλικία λογαριασμού.
6. Guardrails (RG/AML): παραβιάσεις πολιτικής, συχνότητες παρέμβασης, ψευδώς θετικά/αρνητικά.
7. Κόστος: κόστος/αίτημα, κόστος/χαρακτηριστικό, GPU/CPU-ρολόι, μικρά αρχεία/IO (για παρτίδα/κοντά-RT).
8. Δεδομένα/συμβάσεις: σύστημα χαρακτηριστικών, εκδόσεις, επιγραμμική/μη επιγραμμική ισοδυναμία.

3) SLI/SLO (ορόσημα για iGaming)

Latency p95: εξατομίκευση ≤ 150 ms, RG/AML προειδοποιήσεις ≤ 5 με e2e.
Διαθεσιμότητα: 99 ευρώ. 9%.
Ρυθμός σφάλματος 5xx: ≤ 0. 5% σε παράθυρο 5 λεπτών.
Κάλυψη: ≥ 99% των αιτήσεων έλαβε έγκυρη ταχύτητα και λύση.
Φρεσκάδα ετικετών για επιγραμμική αξιολόγηση: D + 1 (ημερησίως), για ταχεία πληρεξούσια - ≤ 1 ώρα.
Παρασυρόμενο PSI: Χαρακτηριστικό/ρυθμός <0. 2 (προειδοποίηση с 0. 1).
Βαθμονόμηση ECE: ≤ 0. 05.
: όχι υψηλότερο από το βασικό μοντέλο + X% (ο στόχος X επιλέγεται από την επιχείρηση).

4) Σήματα και τύποι

4. 1 Μετατόπιση

PSI: συνοψίστε με bin τη διαφορά στις κατανομές (αμαξοστοιχία έναντι prod).
KL-απόκλιση: ευαίσθητη στις «λεπτές» ουρές, παρακολούθηση για τα βασικά χαρακτηριστικά/ταχύτητα.
KS για τους συντελεστές (εάν υπάρχουν ετικέτες): διαφορά CDF για θετικά/αρνητικά.

4. Βαθμονόμηση 2

4. 3 Αναμενόμενο κόστος

Ελαχιστοποίηση (C = c_{fp}\cdot FPR + c_{fn}\cdot FNR) στο κατώφλι λειτουργίας. σε απευθείας σύνδεση καταμέτρηση σε συρόμενο παράθυρο με καθυστερημένες ετικέτες.

5) Πηγές επισήμανσης

Επιγραμμικές ετικέτες (fast proxies): 7ήμερη εκδήλωση κατάθεσης, κλικ/μετατροπή, ολοκληρωμένη περίπτωση RG.
Καθυστερημένες ετικέτες: χρέωση/απάτη (45-90 ημέρες), μακροπρόθεσμη επιβάρυνση/LTV.
Κανόνες: διατήρηση του χρόνου· δεν χρησιμοποιούν γεγονότα «από το μέλλον».

6) Πίνακες (ελάχιστη σύνθεση)

1. Λειτουργία: RPS, p50/p95/p99 καθυστέρηση, 4xx/5xx, κορεσμός, αυτόματη κλιμάκωση.
2. Ποιότητα: διανομή βαθμολογίας, PR- AUC (σε ενδεικτικές ετικέτες), ECE, αναμενόμενο κόστος, KS.
3. Drift: PSI/KL κατά κορυφαία χαρακτηριστικά, κατηγορίες καινοτομίας, ρυθμός έλλειψης, καθυστέρηση feature-fetch.
4. Φέτα/Δικαιοσύνη: PR- AUC/ECE/αναμενόμενο κόστος ανά αγορά/πάροχο/συσκευή.
5. Guardrails: παραβιάσεις της RG/AML, παρεμβάσεις/1k αιτήματα, ποσοστό ψευδών διακοπών.
6. Κόστος: κόστος/αίτημα, χρόνος CPU/GPU, ρυθμός cache hit-rate, εξωτερικές αναζητήσεις.

7) Προειδοποίηση (παράδειγμα κανόνων)

p95> 150 ms (5 λεπτά) σελίδα SRE/MLOps.
Διάρρηξη: 5xx> 0. 5% (5 λεπτά) → διατίθεται σενάριο rollback.
PSI ( )> 0. 2 (15 λεπτά) → επανεκπαίδευση προθέρμανσης.
: ECE> 0. 07 (30 λεπτά) → ανακατασκευή βαθμονόμησης/κατωφλίων.
+ X% στον δείκτη αναφοράς (1 ημέρα) να ληφθεί υπόψη η ανατροπή/υπερφόρτωση.
: Η PR- AUC στην αγορά R μειώθηκε> Y% (1 ημέρα) τον ιδιοκτήτη του τομέα του εισιτηρίου.
: μερίδιο των επιθετικών προσφορών> ανώτατο όριο άμεσος διακόπτης.

8) Καταγραφή και ιχνηλάτηση

Αρχεία καταγραφής ερωτημάτων (ελάχιστο): 'request _ i ,' trace _ i , 'model _ id/version', 'feature _ version', 'feature _ stats' (λείπει%, extremes), 'score', 'decision', 'cost _ estimate', (προαιρετικά)) εξηγήσεις (SHAP top-k).
Otel- трейсы: спаны 'feature _ fetch' → 'preprocess' → 'score' → 'postprocess' → 'guardrail'.
PII: ψευδώνυμα/μάρκες μόνο· κάλυψη πολιτικής, κύρια κατοικία.

9) Επιγραμμική αξιολόγηση της ποιότητας

Συρόμενα παράθυρα για PR- AUC/KS με γρήγορες ετικέτες (ώρα/ημέρα).
Ληφθείσες ετικέτες: D + 7/D + 30/D + 90 αναδρομικές εκθέσεις, αναπροσαρμογές του αναμενόμενου κόστους.
Βαθμονόμηση: επαναξιολόγηση ισοτονικού/Platt σε D + 1, τεχνούργημα αυτόματης ανανέωσης.

10) Κατώτατο όριο απόφασης και πολιτική

Διατηρούμε το κατώφλι ως κατώφλι στο μητρώο. στο διαδίκτυο εξετάζουμε το αναμενόμενο κόστος και προσαρμόζουμε εντός του επιτρεπόμενου εύρους τιμών (με περιορισμένο επιτόκιο).
Πώματα ασφαλείας: ανώτερα/κατώτερα όρια δράσεων. χειροκίνητη παράκαμψη της συμμόρφωσης.
Όρια αναδρομικών δοκιμών: νυχτερινή προσομοίωση των χθεσινών δεδομένων.

11) Φέτες και δικαιοσύνη

Τμήματα: αγορά/δικαιοδοσία, πάροχος, συσκευή/ASN, ηλικία λογαριασμού, ισχύς καταθέσεων.
Μετρήσεις: PR- AUC, ECE, αναμενόμενο κόστος, διαφορές FPR/TPR (εξισωμένες αποδόσεις), ανόμοιες επιπτώσεις.
Ενέργειες: βαθμονόμηση/κατώφλι για φέτες, επανεκπαίδευση με κλίμακες, αναθεώρηση του χαρακτηριστικού.

12) Ισοδυναμία online/offline

Χαρακτηριστικό δοκιμής ισότητας: MAE/MAPE στο δείγμα μάρτυρα. ειδοποίηση σε περίπτωση απόκλισης ορίου>.
Έκδοση: 'feature _ spec _ version', 'logic _ version'; Αρχείο WORM.
Συμβάσεις κυκλώματος: η αλλαγή θραύσης δεν επιτρέπεται χωρίς διπλή εγγραφή (v1/v2).

13) Guardrails (RG/AML)

Ενέργειες πριν/μετά το φίλτρο, όρια συχνότητας, ψύξη, κατάλογοι απαγορεύσεων.
«πολιτική _ id/τάση/μάσκα/απόφαση»· αναφέρουν παραβιάσεις.
Μετρήσεις χρονικού διαστήματος και ποσοστού ψευδούς παρέμβασης.

14) Περιστατικά και εγχειρίδιο

1. : ελέγξτε τους εξωτερικούς παρόχους χαρακτηριστικών επιτρέπουν τη μνήμη/τα χρονοδιαγράμματα την κλίμακα την ανατροπή, εάν χρειάζεται.

2. ΠΔΤ/ΟΕΕ/Το αναμενόμενο κόστος επιδεινώθηκε: πάγωμα της κυκλοφορίας (canary↓), δυνατότητα οπισθοπορείας κατωφλίων/μοντέλου, επανεκπαίδευση.

3. Βλάβη φέτες: προσωρινό κατώτατο όριο, εισιτήριο για τον ιδιοκτήτη τομέα.

4. Παραβίαση φρουρών: θανατηφόρος αλλαγή, έλεγχος περίπτωσης, μετά τη θάλασσα.

15) Κόστος και απόδοση

Προφίλ: Κλάσμα του χρόνου σε feature-fetch vs score vs IO.
Στρατηγικές cache: TTL/έξωση, θερμά χαρακτηριστικά στην RAM, ψυχρές - τεμπέλης.
Ποσοτικοποίηση/βελτιστοποίηση μοντέλου: FP16/INT8 με παράλληλη διατήρηση της ποιότητας.
Χρέωση: κόστος/αίτημα, κόστος/χαρακτηριστικό ανά ομάδα/αγορά.

16) Παραδείγματα (θραύσματα)

python thr_grid = np.linspace(0.01, 0.99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[np.argmin(costs)]

text model_inference_latency_ms_bucket feature_fetch_latency_ms_bucket model_request_total{code}
model_score_distribution_bucket psi_feature_amount_base ece_calibration expected_cost_live slice_pr_auc{slice="EEA_mobile"}

text
ALERT DriftDetected
IF psi_feature_amount_base > 0.2 FOR 15m

17) Διαδικασίες και ΠΓΣ

R (υπεύθυνος): MLOp (παρατηρησιμότητα/καταχωρίσεις/μητρώο), Data Science (ποιοτικές μετρήσεις/βαθμονόμηση/κατώτατο όριο), Data Eng (χαρακτηριστικά/συμβάσεις/ισοδυναμία).
A (υπόλογος): Προϊστάμενος δεδομένων/CDO.
C (Ζητήθηκε η γνώμη): Συμμόρφωση/ΥΠΔ (PII/RG/AML/DSAR), Ασφάλεια (KMS/Audit), SRE (SLO/Περιστατικά), Χρηματοδότηση (Κόστος).
I (Ενημερωμένο): Προϊόν/Εμπορία/Δραστηριότητες/Υποστήριξη.

18) Χάρτης πορείας

1. Βασικό SLI/SLO (καθυστέρηση/5xx/κάλυψη) + ταμπλό.

2. PSI για τα 10 κορυφαία χαρακτηριστικά και διανομή βαθμολογίας· ΟΕΕ και αναμενόμενο κόστος για τις πληρεξούσιες ετικέτες.

3. αρχεία καταγραφής αποφάσεων + μονοπάτια OTEL· δοκιμή ισοδυναμίας on/offline.

4. Προειδοποιήσεις HighP95Latency/PSI_Drift/ECE_Bad + runbook 'και.

• Φέτες/πίνακες δικαιοσύνης, νυχτερινά backfill μετρήσεις σε καθυστερημένες ετικέτες.
• Αυτόματη επαναβαθμονόμηση και προσομοιωτής κατωφλίου.
• Ταμπλό κόστους και ποσοστώσεις/όρια για χαρακτηριστικά/επαναλήψεις.

• Μετατόπιση αυτόματης απελευθέρωσης/επανεκπαίδευσης με έλεγχο καναρινιού.
• Αρχεία του WORM για εκθέσεις ποιότητας και αντικείμενα.
• Δοκιμασίες παρακολούθησης του χάους και ασκήσεις DR.

19) Κατάλογος ελέγχου παράδοσης

• Η SLI/SLO συμφώνησε και παρακολουθείται σε σκιά/καναρίνι ≥ 24 ώρες.
• Οι PSI/KL, ECE, το αναμενόμενο κόστος και οι PR- AUC εξετάζονται επιγραμμικά. καθορίζονται κατώτατα όρια και καταχωρίσεις.
• Ενεργοποιούνται φέτες/πίνακες δίκαιης μεταχείρισης. εκχωρούνται οι ιδιοκτήτες τμημάτων.
• Πλήρεις καταχωρίσεις/μονοπάτια (αποφάσεις, κατώτατα όρια, μάσκες), απόκρυψη PII και τήρηση κατοικίας.
• Δοκιμή ισοδυναμίας online/offline green· διαγράμματα χαρακτηριστικών βάσει της σύμβασης.
• Runbook 'and one-click rollback tested? kill-switch для guardrails.
• Το κόστος εντάσσεται στους προϋπολογισμούς. Η μνήμη/οι ποσοστώσεις/τα όρια είναι ενεργά.
• σώζεται το αρχείο του WORM για μετρήσεις/τεχνουργήματα και αναφορές ποιότητας.

20) Αντισυμβαλλόμενοι και κίνδυνοι

έλλειψη επιγραμμικών σημάτων και αναδρομική αξιολόγηση.
Το RoActemra δεν πρέπει να χρησιμοποιείται σε παιδιά και εφήβους ηλικίας κάτω των 18 ετών.
Αγνοήστε τη φέτα/δικαιοσύνη → κρυφές αστοχίες σε περιοχές/συσκευές.
Δεν υπάρχει ισοδυναμία online/offline χαρακτηριστικό → «διπλή πραγματικότητα».
Zero guardrails: Τοξικές προσφορές, παραβιάσεις της RG/AML.
Χωρίς σχέδια rollback/DR, χωρίς αρχείο WORM.

21) Η τελική γραμμή

Η παρακολούθηση του μοντέλου είναι ένα σύστημα έγκαιρης προειδοποίησης και διαχείρισης κινδύνου/κόστους και όχι "κοιτάξτε μία φορά την εβδομάδα. "Εισάγετε SLO, μετρήστε τη μετατόπιση/τη βαθμονόμηση/το αναμενόμενο κόστος, τις φέτες τροχιάς και τα guardrails, τα κουμπιά rollback/kill-switch, τις αυτοματοποιημένες αναφορές και τα retrains. Έτσι, τα μοντέλα θα παραμείνουν χρήσιμα, ηθικά και σύμφωνα με οποιαδήποτε αναταραχή των δεδομένων και της κίνησης.