Παρατηρησιμότητα και τηλεμετρία

(Τμήμα: Τεχνολογία και Υποδομές)

Σύντομη Περίληψη

Η παρατηρησιμότητα είναι η ικανότητα απάντησης στο «γιατί λειτουργεί έτσι» χωρίς την απελευθέρωση νέων κτιρίων. Στο iGaming, αυτό είναι κρίσιμο: τουρνουά αιχμής, κορυφές πληρωμών, πολυπεριφερειακές και υπεύθυνες απαιτήσεις τυχερών παιχνιδιών/PII. Βάση - μετρήσεις, κορμοί, ίχνη, ενωμένα με κοινά αναγνωριστικά και πρότυπα (OpenTelemetry), με συμβάσεις SLO, συναγερμός ανθεκτικός στο θόρυβο και έλεγχος κόστους.

1) Πλαίσιο παρατηρησιμότητας: σε τι συνίσταται

Μετρήσεις (αριθμοί ανά χρόνο): RED/USE, business KPI, SLI. Αποθηκεύεται σε TSDB.
Αρχεία καταγραφής (γεγονότα στο κείμενο/JSON): έλεγχος, σφάλματα, επιχειρηματικά γεγονότα, ασφάλεια.
Ίχνη (διαστήματα): ζήτηση διαδρομής μέσω υπηρεσιών, καθυστέρηση, αιτία καθυστερήσεων.
Προφίλ: CPU/μνήμη/ροές eBPF, περιεχόμενο σωρού/κλειδώματος.
RUM και συνθετικά: πραγματικοί χρήστες (web/app) + έλεγχοι ρομπότ.
Κατάλογος τηλεμετρίας: σχήματα, πολιτικές PII, περίοδοι διατήρησης, ετικέτες κόστους.

2) Ταξινόμηση σημάτων και αρχές

RED-API: Ποσοστό, σφάλματα, διάρκεια.
ΧΡΗΣΙΜΟΠΟΙΗΣΗ για υποδομή: Χρήση, κορεσμός, σφάλματα (ΚΜΕ, δίσκοι, δίκτυο, ουρές αναμονής).
SLI/SLO: μετρήσιμοι δείκτες (π.χ. επιτυχείς αιτήσεις/όλα, p95 καθυστέρηση), στόχοι προσβασιμότητας (π.χ. "99. 9% σε 30 ημέρες), ενεργοποιεί τον προϋπολογισμό σφάλματος → τη διαδικασία.
Σοφός χαρακτήρας: οι ετικέτες πρέπει να είναι χρήσιμες στις περικοπές (περιφέρεια/ενοικιαστής/πάροχος), αλλά όχι να ανατινάζουν το TSDB.

3) Πρότυπα και συσχέτιση μεταξύ τέλους και τέλους

OpenTelemetry (Otel): ένα ενιαίο SDK/πρωτόκολλο για μετρήσεις, καταγραφές και ίχνη.
Αναγνωριστικά: 'trace _ id', 'span _ i ,' relation _ id ',' player _ id '(ψευδώνυμο),' payment _ route '.
Αναγνωριστικός κωδικός ροής: πύλη εισόδου → όλες τις μικροϋπηρεσίες → πληρωμές/PSP → ουρές/θέσεις εργασίας → αρχεία καταγραφής/μετρήσεις/διαστήματα.

Παράδειγμα: Κεφαλίδες συσχέτισης

traceparent: 00-<trace_id>-<span_id>-01 x-request-id: <correlation_id>

4) Μετρήσεις: τι και πώς μετράμε

Ονομασία/Ετικέτες

'service = "payments-api"', 'env = "pro ', 'region =" eu-west "', 'tenant', 'provider =" pspX "'.

Prometheus Παραδείγματα

prometheus
RED http_requests_total{service="api",route="/deposit",method="POST",status="200"}
http_request_duration_seconds_bucket{service="api",le="0. 25",route="/deposit"} 1234 http_request_errors_total{service="api",route="/deposit"}

USE cpu_utilization_ratio{node="n1"} 0. 71 queue_depth{queue="withdrawals"} 128

Бизнес payments_success_total{psp="X",currency="EUR"} 4521 payment_conversion_ratio{route="pspX"} 0. 948

Ιστογράμματα και υποδείγματα

Αποθηκεύστε τα ιστογράμματα καθυστέρησης (ιθαγενή ιστογράμματα/β uckets) και συνδέστε το παράδειγμα με το 'trace _ id' για να πηδήξετε από τον «αργό κουβά» σε ένα συγκεκριμένο κομμάτι.

5) Αρχεία καταγραφής: δομημένα και ασφαλή

Μόνο JSON (δεν υπάρχει «ελεύθερη μορφή» στο prod).
: 'timestamp', 'severity', 'service', 'trace _ i ,' correlation _ i , 'player _ id _ hash', 'event', 'country', 'number', 'ip _ hash'.
Απόκρυψη/θραύση PII, χωριστοί δείκτες/διατήρηση για ευαίσθητα άτομα.
Αγωγοί καταγραφής: ανάλυση → ομαλοποίηση → εμπλουτισμός (geo/ASN) → επεξεργασία → ευρετηρίαση PII.

Παράδειγμα γεγονότος JSON

json
{
"ts":"2025-11-05T10:42:31Z",
"sev":"ERROR",
"service":"payments-api",
"event":"psp_timeout",
"trace_id":"9c5e...e2",
"route":"pspX",
"duration_ms": 3100,
"attempt":2,
"player_id_hash":"p:1b7f...",
"pii_redacted":true
}

6) Ίχνη: όπου χάνεται χρόνος

Πεδία: αίτημα εισόδου, κλήσεις παρόχου (πάροχοι υπηρεσιών PSP/παιχνιδιών), βάση δεδομένων/κρύπτη, διυπηρεσιακές RPC.
Χαρακτηριστικά: 'db. σύστημα ',' δίχτυ. ομότιμοι. όνομα «,» μηνύματα. σύστημα ',' psp. διαδρομή ',' παιχνίδι. πάροχος ".

• με βάση το κεφάλι για τον όγκο,
• με βάση την ουρά (κατά συνθήκες: σφάλματα, p95 +, VIP-τμήμα),
• εγγυημένη διατήρηση για πληρωμή/ζωτικής σημασίας PII.

7) Παρατηρησιμότητα του εμπρόσθιου και του κινητού τμήματος

RUM: TTFB, FCP/LCP/CLS/INP, σφάλματα JS, δίκτυα και δρομολόγηση SPA.
Αναφορές σύγκρουσης: συμβολισμός, αποπάγωση, έκδοση κατασκευής, συσκευή/OS.
Συνθετικά: σενάρια εισόδου/κατάθεσης/επιτοκίου. γεωδιανεμηθέντες έλεγχοι.

8) SLO, SLI και προϋπολογισμός σφάλματος

Παράδειγμα SLO (Pseudo-YAML)

yaml service: payments-api sli:
- name: availability expr: sum(rate(http_requests_total{status=~"2..    3.."}[5m]))
/ sum(rate(http_requests_total[5m]))
- name: latency_p95 expr: histogram_quantile(0. 95, rate(http_request_duration_seconds_bucket[5m]))
targets:
availability: "99. 9%/30d"
latency_p95: "<=250ms/30d"
error_budget_policy:
fast_burn: 5% for 1h -> page, freeze deploy slow_burn: 20% for 24h -> incident, improvement plan

Προειδοποίηση από τον προϋπολογισμό σφάλματος, όχι από «κάθε μέτρο».
Διαδικασίες παγώματος για την καύση του προϋπολογισμού: οριακές εκλύσεις/καναρίνια.

9) Προειδοποίηση χωρίς θόρυβο

Κανόνες πολλαπλών παραθύρων, πολλαπλών εγκαυμάτων: σύντομο/μακρύ παράθυρο.
Αποπροσανατολισμός/ρίζα: κατά υπηρεσία/περιφέρεια/κρισιμότητα εφημερίας.
Runbook URL και content autocollection (τελευταίες αποστολές, αλλαγές ρυθμίσεων, γράφημα εξάρτησης).
Ήσυχες ώρες και καταστολή κατά τη διάρκεια προγραμματισμένης εργασίας.

Κανόνας παραδειγμάτων (ιδέα PromQL)

promql alert: PaymentsSLOFastBurn expr: slo_error_rate_5m > 2 slo_budget_rate for: 15m labels: { severity="page", service="payments-api" }
annotations:
summary: "SLO fast burn"
runbook: "https://runbooks/payments/slo"

10) Διαμόρφωση προφίλ και eBPF

eBPF/profilers: γραφήματα CPU/haughflame, I/O καθυστέρηση, σταγόνες δικτύου, ανωμαλίες Syscall.
Χρήσιμο για σημεία συμφόρησης p99, νευρώσεις και σπάνιες καταψύξεις.

11) Παρατηρησιμότητα των επιχειρήσεων (προϊόν και κίνδυνος)

Χρηματοδότηση/χρηματική αποτίμηση: μετατροπή καταθέσεων, TTW (time-to-wallet), συγγραφέας ./διακανονισμός, ακυρώσεις/χρεώσεις.
Δραστηριότητα παιχνιδιού: διατήρηση/σερί, μερίδιο των ζωντανών στοιχημάτων, «εμμονή» των παρόχων.
Αντιδιαχείριση/κατάχρηση: ταχύτητα δράσης, συσκευή/σπίρτα IP, συσχετισμοί.
Δείκτες RG: μεγάλες συνεδρίες, «δόγμα», ανάπτυξη μπριζόλας.
Οι επιχειρηματικές μετρήσεις συσχετίζονται με τεχνικές μετρήσεις και εκδηλώσεις σχολιασμού.

12) Ασφάλεια, PII και συμμόρφωση

Ζώνες δεδομένων: σύνολο δεδομένων/ετικέτες καταγραφής ('pii = true', 'region = EU').
Απόκρυψη πριν από την ευρετηρίαση, ψευδωνυμία των αναγνωριστικών.
αποθήκες WORM για έλεγχο· πρόσβαση σε ημερολόγιο βάσει ρόλων.
Περίοδοι διατήρησης: διαφορετικές για τεχνολογίες/λογιστικούς ελέγχους/επιχειρήσεις.
Απαγόρευση των ακατέργαστων μυστικών στα κορμοτεμάχια· ελέγχους σάρωσης σε CI.

13) Διαχείριση αξίας (Finops)

Όριο πληθικότητας: προσεκτικός με το 'χρήστης _ id', 'session _ id'.
Συμμετοχή/διατήρηση: ζεστό (7-14 ημέρες), ζεστό (30-90), κρύο (αρχείο).
Μετρήσεις δειγματοληψίας με βάση την ουρά και μείωσης της δειγματοληψίας.
Χρέωση με ετικέτες «ομάδα», «υπηρεσία», «ενοικιαστής»: αναφέρει «ποιος καίει την παρατηρησιμότητα».

14) Εργαλεία (στοίβα αναφοράς)

Μέτρηση: Προμηθέας/λίμνη για μετρήσεις, ταμπλό Grafana.
Loki/ELK. Ημερομηνία γέννησης: κανόνες κατάποσης, μείωση/ανάλυση.
Μονοπάτια: συλλέκτες Tempo/Jaeger/Otel. συνδέσεις υποδειγμάτων από μετρήσεις.
Συνθετικά: Εξαγωγέας Blackbox, ρομπότ περιήγησης.
Συναγερμός: Ολοκλήρωση συναγερμού/συνομιλίας, περιστροφή εφημερίας.
Προφίλ: eBPF/συνεχής διαμόρφωση προφίλ.

15) Παραδείγματα: Ταχεία εφαρμογή των θεμελίων

python from prometheus_client import Counter, Histogram, start_http_server reqs = Counter('http_requests_total','', ['route','method','status'])
lat = Histogram('http_request_duration_seconds','', ['route'])
def handle(req):
with lat. labels(route=req. route). time():
status = app(req)
reqs. labels(route=req. route,method=req. method,status=str(status)). inc()

go tid:= ctx. Value("trace_id")
logger = logger. With("trace_id", tid)
logger. Info("deposit-accepted", "amount", amt, "route", route)

prometheus http_request_duration_seconds_bucket{..., le="0. 25"} 1023 # exemplar: trace_id=9c5e...

16) Διαδικασίες και λειτουργικό σύστημα

Ενοποιημένο λεξικό μετρικών/ετικετών (οδηγός ονοματοδοσίας) και πρότυπο ταμπλό.
Ελευθέρωση σημειώσεων αυτόματα σε στήλες.
Περιστατικά: κάρτα, χρονοδιάγραμμα, RCA χωρίς χρεώσεις, στοιχεία δράσης.
Συναγερμοί εκπαίδευσης («ημέρα παιχνιδιού»): προσομοιωμένες σταγόνες, καθυστερήσεις PSP, υπερθέρμανση μνήμης.
Runbooks: οδηγίες βήμα προς βήμα και αυτόματες συνδέσεις από ειδοποιήσεις.

17) Κατάλογος ληκτότητας

1. OTEL SDK/συλλέκτης → ενιαία εξαγωγή μετρικών/κορμοτεμαχίων/μονοπατιών.
2. Το RED/USE καλύπτει όλες τις υπηρεσίες + SLI/SLO ανά βασικό API.
3. Συσχέτιση 'trace _ id' ⇄ logs ⇄ metrics (παραδείγματα, jump-links).
4. Προειδοποιήσεις για σφάλματα του προϋπολογισμού με συνδέσμους πολλαπλών εγκαυμάτων και runabook.
5. RUM + συνθετικά για «κατάθεση/επιτόκιο/ανάληψη».
6. Προφίλ (eBPF) στην πώληση της λευκής λίστας.
7. Πολιτικές PII: συγκάλυψη, ζώνες, πρόσβαση, περίοδοι διατήρησης.
8. Οικονομική έκθεση σχετικά με το κόστος της τηλεμετρίας (ετικέτες «ομάδα/υπηρεσία»).
9. «Ετοιμότητα για φορτίο αιχμής»: σχέδιο δοκιμής, κρύπτες προθέρμανσης, πρότυπα συναγερμού.
10. Τακτικές αναθεωρήσεις RCA και SLO/κατωφλίου.

18) Αντιπατερίδια

«Φύλλα καταγραφής» χωρίς δομή και 'trace _ id'.
Προειδοποιήσεις για κάθε μετρικό συναγερμό FAT.
Ιστογράμματα χωρίς σωστούς κουβάδες → «επίπεδη» p95.
Η απεριόριστη πληθικότητα των ετικετών → μια έκρηξη αξίας.
Η έλλειψη RUM/συνθετικών είναι «όλα εντάξει», αλλά ο χρήστης δεν είναι.
Ανάμειξη PII με τεχνολόγους, αόριστη κατακράτηση.
Απομόνωση της τηλεμετρίας από τις ΒΔΕ επιχειρήσεων - «η καθυστέρηση μειώνεται, και τα έσοδα επίσης».

Περίληψη

Ισχυρή παρατηρησιμότητα είναι μια κοινή γλώσσα μεταξύ προϊόντων, SRE, ασφάλειας και πληρωμών. Συνδέοντας μετρήσεις, αρχεία καταγραφής, κομμάτια για OTEL, εισάγοντας SLO με έναν προϋπολογισμό λαθών, καθιστώντας την προειδοποίηση έξυπνη και οικονομικά διαχειρίσιμη, μπορείτε να πάρετε ένα σύστημα που παρατηρεί προβλήματα νωρίτερα, ανακτά γρηγορότερα και προβλέψιμα περνά τις κορυφές κυκλοφορίας και τα φορτία τουρνουά.