Κατανεμημένη ανίχνευση

(Τμήμα: Τεχνολογία και Υποδομές)

Σύντομη Περίληψη

Τα κατανεμημένα ίχνη παρέχουν μια απάντηση στο ερώτημα πού και γιατί χάνεται ο χρόνος κατά μήκος της διαδρομής του αιτήματος μέσω της πύλης, API, ουρές, βάσεις δεδομένων, εξωτερικούς παρόχους (PSP/game studios). Το OpenTelemetry (Otel) είναι ένα ανοικτό πρότυπο SDK/πράκτορα/πρωτοκόλλου που συνδυάζει μονοπάτια, μετρήσεις και αρχεία καταγραφής. Στο iGaming, είναι ένα βασικό εργαλείο για να κρατήσει p95/p99, να εντοπίσει γρήγορα ζητήματα πληρωμής και να εντοπίσει σημεία συμφόρησης πριν από τα κορυφαία τουρνουά.

1) Έννοιες OTEL

Ίχνος - η πλήρης διαδρομή της πράξης (κατάθεση, επιτόκιο, απόσυρση).
Εύρος - χώρος εργασίας (χειριστής HTTP, αίτημα SQL, κλήση αναμονής/πάροχος).
Χαρακτηριστικά γνωρίσματα - κλείδα αξίας με λεπτομέρειες ('καθαρό. ομότιμοι. όνομα «,» db. σύστημα ',' psp. οδός ").
Γεγονότα - στιγμιαία γεγονότα (υποχώρηση, timeout, cache miss).
Σύνδεσμοι - σύνδεσμοι με άλλα ίχνη (σημαντικά για async/ουρά αναμονής).
Μεταδεδομένα διεργασίας πόρων: "υπηρεσία. ονοματεπώνυμο "," υπηρεσία ". εξάπλωση της έκδοσης ','. περιβάλλον «,» σύννεφο. περιφέρεια ".

2) Διάδοση του πλαισίου

traceparent: 00-<trace_id>-<span_id>-01 tracestate:...

Επιπλέον - οι αποσκευές για ασφαλή κλειδιά (για παράδειγμα, «ενοικιαστής», «δρομολόγιο»), δεν τοποθετούν το PII εκεί.

Πού να παρακάμψετε το πλαίσιο: πύλη API → εσωτερικές RPC → παραγωγός σε σειρά αναμονής → καταναλωτή → εξωτερικό HTTP (PSP/πάροχοι).

3) Σημασιολογικές συμβάσεις (υποχρεωτικό ελάχιστο)

HTTP/RPC: 'http. μέθοδος ',' http. διαδρομή ',' http. .
DB/cache: 'db. σύστημα «(» mysql «/» postgresql «/» redis «),» db. δήλωση «(μασκοφόρος)», db. λειτουργία ".
Ουρές: "μηνύματα. σύστημα «(» kafka «/» rabbitmq «),» messaging. προορισμός «,» μηνύματα. λειτουργία "(" αποστολή "/" διαδικασία ").
Πληρωμές: 'psp. διαδρομή ',' psp. πληρωμή παρόχου «,». id "(ψευδώνυμο)," ποσό "," νόμισμα ".
Πεδίο iGaming: 'παιχνίδι. Παιχνίδι παρόχου ','. (hash), 'player. .

Μια ενιαία ταξινόμηση → τη συγκρισιμότητα των ταμπλό και μια γρήγορη αναζήτηση των αιτιών.

4) Δειγματοληψία: Πώς να μην πνιγείτε στα δεδομένα

Με βάση το κεφάλι

Απλό, φθηνό? κατάλληλο για γενική ροή.
Μείον - μπορείτε να χάσετε «ενδιαφέροντα» αργά/εσφαλμένα κομμάτια.

Με βάση την ουρά (в συλλέκτης)

Η απόφαση λαμβάνεται μετά το τέλος της περιόδου: εξοικονομούμε μόνο σφάλματα/αργά/σημαντικά τμήματα (VIP/πληρωμές).
Ιδανικό για το φορτίο παραγωγής: μειώνει σημαντικά το κόστος με υψηλή περιεκτικότητα σε πληροφορίες.

• Κεφαλή: 5-10% για κάλυψη «υποβάθρου».
• Ουρά: 100% σφάλμα + p95 + αργά + κομμάτια πληρωμής/κυκλοφορίες καναρινιού.

5) Τοπολογίες συλλεκτών OpenTelemetry

Agent-sidecar (σε κάθε κόμβο/κάψουλα): τοπική αποδοχή, ελάχιστο ρυθμιστικό διάλυμα, εξαγωγή στον συγκεντρωτή.
Πύλη (δέσμη): δειγματοληψία ουράς, δρομολόγηση, εμπλουτισμός, εξαγωγή στο Tempo/Jaeger/Zipkin/OTLP.

Παράδειγμα: δειγματοληψία ουράς (θραύσμα YAML)

yaml processors:
tailsampling:
decision_wait: 5s policies:
- name: errors type: status_code status_code:
status_codes: [ ERROR ]
- name: slow_p95 type: latency latency:
threshold_ms: 250
- name: payments type: string_attribute string_attribute:
key: service. name values: [ "payments-api", "payments-worker" ]

6) Συσχέτιση με μετρήσεις και καταγραφές

Προσθήκη 'trace _ i /' span _ id' σε κάθε καταχώρηση καταγραφής.
Αποθηκεύει μετρήσεις καθυστέρησης ως ιστογράμματα και περιλαμβάνει υποδείγματα - μια αναφορά στο αντιπροσωπευτικό 'trace _ id' για ένα «άλμα» από p95-boket σε ένα συγκεκριμένο ίχνος.
Σημειώσεις κυκλοφορίας (Git SHA, chart version) - όπως γεγονότα/ετικέτες.

7) Όργανα (γλώσσες και αυτόματοι πράκτορες)

Go (εγχειρίδιο + αυτόματο)

go tp:= sdktrace. NewTracerProvider(
sdktrace. WithBatcher(exporter),
sdktrace. WithResource(resource. NewWithAttributes(
semconv. SchemaURL,
semconv. ServiceName("payments-api"),
)),
)
otel. SetTracerProvider(tp)

ctx, span:= tracer. Start(ctx, "Deposit")
defer span. End()
span. SetAttributes(
attribute. String("psp. route","pspX"),
attribute. String("currency","EUR"),
)

Java

Auto-agent '-javaagent: opentelemetry-javaagent. βάζο ', config via env (' OTEL _ SERVICE _ NAME ',' OTEL _ EXPORTER _ OTLP _ ENDPOINT ').
Εγχειρίδιο - σημειώσεις/εργαλείο θέσεων κρεμμυδιού (πισίνες JDBC, κρύπτη).

κόμβος. js/Python

Αυτόματο εργαλείο με πρόσθετα SDK + (Express/FastAPI/σέλινο).
Για ουρές αναμονής - περιτυλίγματα παραγωγού/καταναλωτή για αποστολή μηνυμάτων. "Και συνδέσεις.

8) Ουρές αναμονής και async: σωστή διάρκεια

Παραγωγός («αποστολή»): το εύρος για αποστολή στο θέμα/σειρά αναμονής.
Καταναλωτής («διαδικασία»): νέο εύρος επεξεργασίας μηνυμάτων από τον σύνδεσμο στο εύρος του παραγωγού (εκτός αιτιώδους συνάφειας χωρίς κοινό «trace _ id»).
Χαρακτηριστικά: 'messaging. κάφκα. κατάτμηση ',' μηνύματα. rabbitmq. , 'messaging. .
Με retrays - event 'retry', απόπειρα μετρητή.

9) DB/Cache και N + 1

Ενεργοποιήστε τον εντοπισμό του οδηγού βάσης δεδομένων, ομαδικά ερωτήματα του ίδιου τύπου σε παρτίδες.
Για Redis/cache, τα χαρακτηριστικά είναι 'cache. hit '/' cache. δεσποινίς.
Αφαιρέστε τα «βαριά» αιτήματα για ξεχωριστά διαστήματα - μπορείτε να δείτε πού βρίσκεται το p99.

10) Εξωτερικοί πάροχοι: PSP/game studios

Περιτύλιγμα πελατών HTTP: 'psp. πάροχος «,» psp. διαδρομή «,» timeout _ m , «προσπάθεια».
Κωδικοί/τύποι σφάλματος καταγραφής, αλλά όχι PII (αριθμός κάρτας, μάρκες).
Συγκρίνετε στούντιο/διαδρομές με «διάρκεια», «ποσοστό σφάλματος».

11) Frontend και RUM

Otel Web SDK: 'page _ view', 'resource _ load', 'xhr'.
Pierce 'traceparent' into the backend to rift the muser 's path through the UI → API → database.
Κατάτμηση ανά πάροχο υπηρεσιών γεω/δικτύου - προαιρετικά σήματα.

12) Ασφάλεια και PII

Μάσκα των πεδίων ('db. δήλωση 'edited), hash' player _ id '.
Ζώνες δεδομένων: 'pii = true', 'region = EU/TR/LATAM'.
Έλεγχος πρόσβασης σε γραμμές πληρωμών (βάσει ρόλων).
WORM/Διατήρηση: περίοδοι διατήρησης για ευαίσθητα ίχνη, διαγραφή ανά πολιτική.

13) Επιδόσεις και κόστος

Δειγματοληψία στην ουρά ανά πολιτική: «σφάλματα + αργές + πληρωμές + ελευθερώσεις καναρινιών».
Downsampling histograms of metrics, επιθετική αφαίρεση log.
Περιορισμός πληθικότητας: Μην γράφετε το 'χρήστης _ id' ως μετρική ετικέτα.
Ρυθμιστικά διαλύματα/παρτίδες συλλεκτών, συμπίεση OTLP.

14) Πίνακες και αναλύσεις

Χάρτης υπηρεσιών: εξαρτήσεις υπηρεσίας, χρωματισμός σφάλματος/καθυστέρησης.
Σύγκριση απελευθέρωσης: σταθερή έναντι canary αναθεώρηση (p95, ποσοστό σφάλματος, πληρωμές conv).
Πάνω αργά ίχνη: κατά μήκος της διαδρομής '/κατάθεση ', τμήμα κατά μήκος του PSP/περιοχή.
Υστέρηση αναμονής: Γραμμές καθυστέρησης βαθιάς κατανάλωσης.

15) Παραδείγματα σχηματισμών συλλεκτών

Αγωγοί (μετρικά/μονοπάτια/κορμοί, θραύσματα)

yaml receivers:
otlp: { protocols: { http: {}, grpc: {} } }

processors:
batch:
memory_limiter:
limit_mib: 1024 spike_limit_mib: 256 attributes/payments:
actions:
- key: "psp. provider"
action: insert value: "pspX"

exporters:
otlp/traces: { endpoint: tempo:4317, tls: { insecure: true } }
otlp/metrics:{ endpoint: prometheus-otlp:4317, tls: { insecure: true } }
otlp/logs:  { endpoint: loki-otlp:4317, tls: { insecure: true } }

service:
pipelines:
traces:
receivers: [ otlp ]
processors: [ memory_limiter, batch, tailsampling ]
exporters: [ otlp/traces ]
metrics:
receivers: [ otlp ]
processors: [ batch ]
exporters: [ otlp/metrics ]
logs:
receivers: [ otlp ]
processors: [ batch ]
exporters: [ otlp/logs ]

16) Βιβλία δρομολογίων (τυπικά σενάρια)

A) Σ99 αύξηση των «πληρωμών-αιχμής»

1. Άνοιγμα «Top slow traces» → να πέσει στη βάση δεδομένων/PSP.
2. Αν το πρόβλημα PSP είναι η μετάφραση της διαδρομής, ενεργοποιήστε retrays/timeouts.
3. Ελέγξτε τη σειρά αναμονής "withdrawal (lag), αυξήστε τους καταναλωτές.

B) Σφάλματα 5xx μετά την απελευθέρωση

1. Φίλτρο από 'service. έκδοση ".
2. Συγκρίνετε σταθερό/καναρίνι. βρείτε ακίδες στο 'psp. διαδρομή ".
3. Παγωμένη προώθηση, roll back (βλέπε στρατηγικές απελευθέρωσης/rollbacks).

Γ) Υποψία N + 1

1. Μονοπάτια με μεγάλο αριθμό μικρών εκτάσεων DB.
2. Ενεργοποίηση συσσώρευσης/joyns, προσθήκη στρώματος μνήμης.

17) Κατάλογος ελέγχου εφαρμογής

1. Ενεργοποίηση του OTEL SDK και ομοιόμορφων χαρακτηριστικών πόρων ('υπηρεσία. ονομασία "," env "," περιφέρεια ").
2. Πολλαπλασιάζοντας το πλαίσιο ιχνών W3C σε όλα τα στρώματα και τις ουρές αναμονής.
3. Ελάχιστο σύνολο σημασιολογικών χαρακτηριστικών (HTTP/DB/σειρά αναμονής/PSP).
4. Δειγματοληψία στην ουρά: σφάλματα, p95 +, πληρωμές, καναρίνι.
5. Αρχεία καταγραφής με 'trace _ i /' span _ id', μετρήσεις με υποδείγματα.
6. Dashboards: service map, release compare, payments flow.
7. Πολιτικές PII: συγκάλυψη, ζώνες, ρόλοι, διατήρηση.
8. Δοκιμές/φορτίο: έλεγχος συσχέτισης και πληρότητας της ιχνηλάτησης πριν από τις κορυφές.
9. Αυτόματη δημιουργία συνδέσμων runbook σε ειδοποιήσεις.
10. Telemetry Cost and Cardinality Report.

18) Αντιπατερίδια

Ίχνη «μόνο στην είσοδο» χωρίς βάσεις δεδομένων/ουρές αναμονής → καμία χρήση.
Η έλλειψη διάδοσης σε αλυσίδες async → αιτίας και επίδρασης σπάει.
Τυχαία δειγματοληψία 1% χωρίς λογική ουράς → δεν πιάνει αργά/εσφαλμένα.
Αρχεία καταγραφής χωρίς ίχνος _ id → καμία συσχέτιση μεταξύ τέλους και τέλους.
Ακατέργαστα PII σε χαρακτηριστικά/κορμούς → κινδύνους συμμόρφωσης.
Η πληθικότητα «στην οροφή» (χρήστης/συνεδρία ως μετρικές ετικέτες) → μια έκρηξη αξίας.

Περίληψη

Η OpenTelemetry μετατρέπει την παρατηρησιμότητα από μια συλλογή διαφορετικών εργαλείων σε μια γλώσσα απόδοσης από το τέλος έως το τέλος. Με τη σωστή διάδοση του πλαισίου, την τακτοποιημένη σημασιολογία, τη δειγματοληψία ουράς και ένα συνδυασμό «μετρήσεων ιχνοστοιχείων», η ομάδα iGaming κρατά το p95/p99 υπό έλεγχο, απομονώνει γρήγορα τα σημεία συμφόρησης (DB, ουρές, PSP) και απελευθερώνει με αυτοπεποίθηση ακόμα και στις κορυφές κυκλοφορίας.