Ανάπτυξη μοντέλων ML

1) Ρόλος και στόχοι

Εγκατάσταση = Παροχή αξιόπιστων συμπερασμάτων για τα προϊόντα και τις επιχειρήσεις κατά την τήρηση των RG/AML/Νομικών και προϋπολογισμών.
Στόχοι: χαμηλή καθυστέρηση, υψηλή διαθεσιμότητα, αναπαραγωγιμότητα, ασφάλεια και ταχεία ανατροπή.

2) Υπηρεσίες αρχιτεκτονικής

2. 1 Μοτίβα

Online (σε πραγματικό χρόνο): REST/gRPC, p95 50-150 ms για εξατομίκευση, ≤2 -5 s για καταχωρίσεις RG/AML.
Σχεδόν σε πραγματικό χρόνο: μικρο-ταιριάζουν 1-5 λεπτά (OLAP-showcases).
Παρτίδα/offline: Χρυσές νυχτερινές επιδείξεις, εξαγωγές WORM για τη ρυθμιστική αρχή.
Βαθμολόγηση κατά τη διαδικασία: ενσωμάτωση του μοντέλου φωτός στην υπηρεσία (χαμηλή καθυστέρηση).
Χαρακτηριστικά ψυχρής εκκίνησης για σπάνιες εργασίες.

2. 2 Τοπολογίες

Η υπηρεσία ενιαίου μοντέλου → απλή και γρήγορη.
Σύνολο/γράφημα (router → preprocess → model → postprocess) → σύνθετοι αγωγοί.
Το Sidecar Feature Fetcher → τραβά διαδικτυακά χαρακτηριστικά από κρύπτες (Redis/Scylla).

3) Πρότυπο μητρώο και εκδόσεις

Μητρώο: 'model _ id', 'version', 'stage = {Staging, Production, Archived}', αντικείμενα (βάρη, προεπεξεργαστής, βαθμονόμηση), απαιτήσεις (CPU/GPU/μνήμη), κάρτα μοντέλου (δεδομένα, μετρήσεις, κίνδυνοι, δικαιοσύνη).
Αμετάβλητα τεχνουργήματα: περιεχόμενο-hash. Αντίγραφα απελευθερώσεων του WORM.
Πολιτική εκροών: μόνο μέσω μητρώου και δηλωτικών δηλώσεων.

4) Περιέκτης και συσκευασία

dockerfile
FROM python:3. 11-slim
ENV PYTHONUNBUFFERED=1
WORKDIR /app
COPY requirements. txt.
RUN pip install -r requirements. txt --no-cache-dir
COPY artifacts/./artifacts/
COPY src/./src/
CMD ["python", "src/serve. py"]

python serve. py from fastapi import FastAPI import joblib, time app = FastAPI()
model = joblib. load("artifacts/model. joblib")
scaler = joblib. load("artifacts/scaler. joblib")

@app. post("/score")
def score(payload: dict):
t0 = time. time()
x = preprocess(payload, scaler)
y = float(model. predict_proba([x])[0,1])
return {"score": y, "latency_ms": int((time. time()-t0)1000), "model_version": "1. 8. 3"}

5) Kubernetes/Helm και Autoscaling

yaml apiVersion: apps/v1 kind: Deployment metadata: {name: ml-score, labels: {app: ml-score}}
spec:
replicas: 3 selector: {matchLabels: {app: ml-score}}
template:
metadata: {labels: {app: ml-score}}
spec:
containers:
- name: api image: registry/ml-score:1. 8. 3@sha256:...
ports: [{containerPort: 8080}]
resources:
requests: {cpu: "500m", memory: "512Mi"}
limits:  {cpu: "2",  memory: "2Gi"}
envFrom: [{secretRef: {name: ml-secrets}}]
readinessProbe: {httpGet: {path: /healthz, port: 8080}, periodSeconds: 5}
livenessProbe: {httpGet: {path: /livez,  port: 8080}, periodSeconds: 10}

yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: {name: ml-score-hpa}
spec:
scaleTargetRef: {apiVersion: apps/v1, kind: Deployment, name: ml-score}
minReplicas: 3 maxReplicas: 50 metrics:
- type: Pods pods:
metric: {name: requests_per_second}
target: {type: AverageValue, averageValue: "15"}
- type: Resource resource: {name: cpu, target: {type: Utilization, averageUtilization: 70}}

6) Στρατηγικές ανάπτυξης

Σκιά: το νέο μοντέλο επεξεργάζεται αντίγραφα αιτημάτων, οι απαντήσεις αγνοούνται. σύγκριση των μετρήσεων/καθυστέρηση/κόστος.
Κανάριος: 1-10% της κυκλοφορίας → 25% → 50% → 100% με πράσινους SLO. αυτόματη ανατροπή της υποβάθμισης.
Γαλάζιο-πράσινο: παράλληλες στοίβες. διακόπτης άμεσης δρομολόγησης.
Βαθμιαία σημαία χαρακτηριστικών: δρομολόγηση αγοράς/ενοικιαστή/συσκευής.
A/B/n: διαδικτυακά πειράματα με διαδοχικές δοκιμές.

yaml routes:
- match: {tenant: "EEA"} # feature-flags/rules to: {model: "1. 8. 3", weight: 20}
- match: {tenant: "EEA"}
to: {model: "1. 7. 9", weight: 80}

7) Χαρακτηριστικό επιγραμμικό/μη επιγραμμικό: ισοδυναμία

Ενοποιημένη βιβλιοθήκη μετασχηματισμού και Feature Store (online + offline).
Δοκιμή ισοδυναμίας: MAE/MAPE μεταξύ επιγραμμικών χαρακτηριστικών και offline αναφοράς σε δείγμα αναφοράς.
Χαρακτηριστικό Cache: Redis/Scylla, TTL για τα χαρακτηριστικά παραθύρου. timeouts και οπισθοδρόμηση.

8) Παρατηρησιμότητα, SLO και προειδοποίηση

8. 1 δείκτες αναφοράς SLI/SLO

Καθυστέρηση: p95 ≤ 150 ms (εξατομίκευση), p99 ≤ 300 ms. Σήματα RG/AML ≤ 5 με τέλος.
Διαθεσιμότητα: 99 ευρώ. 9%.
Συμπέρασμα σφάλματος: ≤ 0. 5% 5xx; κάλυψη ≥ 99%.
Μετατόπιση: Χαρακτηριστικό PSI/ρυθμός <κατώτατο όριο, ECE (βαθμονόμηση) είναι σταθερό.
: uplift Net Revenue, απάτη εξοικονομείται, χρόνος-to-intervene.

8. 2 Μετρικά (Προμηθέας)

yaml
- http_request_duration_seconds{quantile="0. 95"}
- http_requests_total{code=~"5.."}
- model_inference_latency_ms_bucket
- feature_fetch_latency_ms_bucket
- model_score_distribution_bucket
- psi_feature_{name}
- expected_cost_live

yaml
- alert: HighP95Latency expr: histogram_quantile(0. 95, sum(rate(model_inference_latency_ms_bucket[5m])) by (le)) > 0. 15 for: 10m
- alert: DriftDetected expr: psi_feature_amount_base > 0. 25 for: 15m

: OpenTelemetry - 'feature _ fetch', 'score', 'postprocess', 'guardrail'.

9) RG/AML guardrails και πολιτική ασφάλειας

Πριν/μετά το φίλτρο: μάσκες απαγορευμένων ενεργειών (συχνότητα εντυπώσεων, ψύξη, απαγόρευση επιθετικών προσφορών).
Πολιτική θωράκιση: ταχύτητα πάνω από το κατώφλι RG → ήπια παρέμβαση/παύση.
Έλεγχος: καταγραφή «πολιτική _ id», «τάση», «μάσκα», «απόφαση», «λογική».
PII και κατοικία: μάρκες αντί ταυτότητας, χωριστές κλείδες κρυπτογράφησης και διασποράς σε ΕΟΧ/ΗΒ/BR· η απαγόρευση των διασυνοριακών ενώσεων δεν δικαιολογείται.
Μυστικά: KMS/CMK, Μυστικός Διευθυντής. no PII in logs/tracks.

10) Βαθμονόμηση, κατώτατα όρια και πολιτική λήψης αποφάσεων

Βαθμονόμηση (Platt/Isotonic) ως τεχνούργημα.
Κατώτατο όριο από το αναμενόμενο κόστος· είναι διαμορφώσιμα στη σημαία νηολογίου/χαρακτηριστικού.
Ανώτατα/κατώτερα όρια δράσης, χειροκίνητη παράκαμψη της συμμόρφωσης.

11) Ανατροπές, υποβάθμιση και DR

Ένα κλικ rollback - Αλλάζει τη διαδρομή στην προηγούμενη 'model _ version'.
Runbook: scripts «latentnost↑», «5xx↑ σφάλματα», «drift/βαθμονόμηση breaked», «εξωτερικός πάροχος χαρακτηριστικών».
Απομόνωση βλάβης: διακόπτης κυκλώματος, επαναδραστηριοποίηση/οπισθοπορεία, μνήμη της τελευταίας έγκυρης λύσης.
DR: αντίγραφα ασφαλείας αντικειμένων/μητρώου, αντιγραφή σε μια «θερμή» περιοχή, ασκήσεις.

python try:
features = fetch_features(timeout=30)
except TimeoutError:
features = last_known_good(user_id) # fallback

12) Μηχανική κόστους και επιδόσεις

Προφίλ διαδρομής: χαρακτηριστικά (30-60%), μοντέλο (20-40%), δίκτυο/IO (10-30%).
Μείωση του κόστους: αποθήκευση θερμών χαρακτηριστικών, ποσοστώσεις αναπαραγωγής, ελαφρά μοντέλα, INT8/FP16 (κατά περίπτωση), τεμπέλης-μεταπροώθησης.
HPA για RPS/CPU/καθυστέρηση, περιορισμός του μεγέθους κατάστασης στο χαρακτηριστικό ρεύματος.
Χρέωση: κόστος/αίτημα, κόστος/χαρακτηριστικό· προϋπολογισμοί για αγορές/ομάδες.

13) Ασφαλείς ελευθερώσεις και συμμόρφωση

Κριτήρια ετοιμότητας προϊόντος: SLO πράσινο στη σκιά, χωρίς μετατόπιση/διαρροή, μοντέλο κάρτας είναι πλήρες, δίκαιες φέτες είναι κανονικές.
Ρυθμιστής: WORM-αρχείο της απελευθέρωσης (βάρη, βαθμονόμηση, κατώφλια, μετρήσεις, αρχεία καταγραφής δοκιμών), αμετάβλητες εκθέσεις εξαγωγής.
DSAR/RTBF: διαδικασίες για την αφαίρεση ιχνών συγκεκριμένου χρήστη από κρύπτες/κορμούς/χαρακτηριστικά.

14) QA πριν από την έξοδο

Δοκιμές ενσωμάτωσης: σύμβαση API, διαγράμματα χαρακτηριστικών, κενές/ακραίες περιπτώσεις.
Φορτίο: p99, ουρές κατανομής, κίνηση διάρρηξης.
Δοκιμή ισοδυναμίας on/offline.
Δοκιμές χάους: απενεργοποίηση της κρύπτης/βάσης χαρακτηριστικών, χρονοδιαγράμματα εξωτερικών υπηρεσιών.

15) Παραδείγματα διαμόρφωσης

yaml
- match: [headers: {x-exp: "canary"}]
route:
- destination: {host: ml-score-v1-8-3, weight: 20}
- destination: {host: ml-score-v1-7-9, weight: 80}

python
@app. get("/healthz")
def health():
return {"ok": True, "model_version": "1. 8. 3", "registry_sig_ok": verify_signature()}

16) Διαδικασίες και ΠΓΣ

R (υπεύθυνος): MLOp (serving/orchestration/observability), Data Eng (features/caches/contracts), Data Science (model cards/βαθμονόμηση/κατώτατα όρια).
A (υπόλογος): Προϊστάμενος δεδομένων/CDO.
C (Ζητήθηκε η γνώμη): Συμμόρφωση/ΥΠΔ (PII/RG/AML/DSAR), Ασφάλεια (KMS/Μυστικά/Έλεγχος), SRE (SLO/Περιστατικά), Χρηματοδότηση (ROI/Προϋπολογισμοί).
I (Ενημερωμένο): Προϊόν/Εμπορία/Δραστηριότητες/Υποστήριξη.

17) Χάρτης πορείας για την εφαρμογή

1. μητρώο υποδειγμάτων και αμετάβλητα τεχνουργήματα· Υπηρεσία FASTAPI/gRPC + K8s/Helm.

2. Εκτόξευση σκιών με p95/5xx/παρασυρόμενη παρακολούθηση, δοκιμή ισοδυναμίας χαρακτηριστικών.

3. Κανάρι 10% → 50% → 100% με αυτόματο σενάριο rollback και ειδοποιήσεις.

4. Υπόδειγμα κάρτας, βαθμονόμηση, όριο αναμενόμενου κόστους και Guardrails v1.

• Κρύπτη χαρακτηριστικών, διακόπτες κυκλωμάτων, runbooks/ασκήσεις DR.
• Αυτόματη κλιμάκωση σε RPS/καθυστέρηση, ταμπλό κόστους και φόρτιση.
• Παρακολούθηση φέτες δίκαιης μεταχείρισης, αρχείο απελευθέρωσης WORM.

• Γραφική παράσταση της υπηρεσίας (υποψήφιοι → εκ νέου κατάταξη), τάση καταγραφής σχιστολιθικών πλακών.
• Πολυπεριφέρεια, κατοικία (EEA/UK/BR) με μεμονωμένα κλειδιά.
• Auto-roll/overdrive, εκθέσεις ποιότητας αυτογενούς/βαθμονόμησης.

18) Κατάλογος ελέγχου παράδοσης

• Το υπόδειγμα κάρτας είναι πλήρες. τα δεδομένα/χαρακτηριστικά/βαθμονόμηση/κατώφλια επαληθεύονται.
• Τα χαρακτηριστικά των συμβάσεων και η επιγραμμική/επιγραμμική δοκιμή ισοδυναμίας είναι πράσινα.
• SLO: p95, 5xx, κάλυψη - πράσινο στη σκιά και 10% καναρίνι ≥ 24 ώρες.
• Περιλαμβάνονται οι προειδοποιήσεις και τα ταμπλό (καθυστέρηση/σφάλματα/μετατόπιση/αναμενόμενο κόστος).
• Οι φρουροί RG/AML και οι έλεγχοι λύσεων είναι ενεργοί· PII/κατοικία.
• Ένα κλικ rollback και runbook περιστατικά που ελέγχθηκαν.
• Το κόστος εντάσσεται στον προϋπολογισμό. Το HPA και η μνήμη ρυθμίζονται.

19) Αντισυμβαλλόμενοι και κίνδυνοι

Χειροκίνητες διαδρομές χωρίς μητρώο και αμετάβλητα τεχνουργήματα.
Ασυνεπή επιγραμμικά/μη επιγραμμικά χαρακτηριστικά → ασυμφωνίες στις πωλήσεις.
Καμία σκιά/καναρίνι → κρυφές οπισθοδρομήσεις.
Το κατώτατο όριο δεν είναι αναμενόμενο κόστος, δεν υπάρχει βαθμονόμηση.
Συγχρονισμένες εξωτερικές αναζητήσεις χωρίς χρονοδιαγράμματα/μνήμη.
No DR/rollback, no WORM release archive.

20) Η τελική γραμμή

Η παραγωγή ML δεν είναι μια «πρόκληση μοντέλου», αλλά μια πλατφόρμα μηχανικής: μητρώο και εκδόσεις, ασφαλείς διαδρομές (σκιά/καναρίνι/μπλε-πράσινο), πειθαρχία χαρακτηριστικών και βαθμονόμησης, παρατηρησιμότητα και SLO, guardrails για RG/AML, και ένα σαφές σχέδιο ανατροπής. Ακολουθώντας αυτό το βιβλίο, παίρνετε ένα γρήγορο, αξιόπιστο και σύμφωνο συμπέρασμα που παρέχει σταθερά επιχειρηματική αξία με ελεγχόμενο κόστος.