Συγκέντρωση κορμοτεμαχίων

1) Γιατί να συγκεντρωθούν τα αρχεία καταγραφής

• επιτάχυνση της αναζήτησης των ριζών συμβάντων (συσχέτιση με το αίτημα-id/trace-id)·
• επιτρέψτε σας να δημιουργήσετε προειδοποιήσεις για τα συμπτώματα (σφάλματα, ανωμαλίες)·
• παρέχει διαδρομή ελέγχου (ποιος/πότε/τι το έκανε)·
• χαμηλότερο κόστος λόγω της ενοποίησης της διατήρησης και της αποθήκευσης.

2) Βασικές αρχές

1. Μόνο δομημένα αρχεία καταγραφής (JSON/RFC5424) - χωρίς «ελεύθερο κείμενο» χωρίς κλειδιά.
2. Ενιαίο σύστημα κλειδιών: «t, επίπεδο, υπηρεσία, env, περιφέρεια, ενοικιαστής, trace_id, span_id, request_id, user_id (μασκοφόρος), msg, kv»...
3. Προκαθορισμένη συσχέτιση: flip trace_id from gateway to backends and logs.
4. Ελαχιστοποίηση θορύβου: ορθά επίπεδα, δειγματοληψία, αφαίρεση επαναλήψεων.
5. Ασφάλεια κατά σχεδιασμό: συγκάλυψη PII, RBAC/ABAC, αμετάβλητη.
6. Οικονομία: θερμή/θερμή/ψυχρή, συμπίεση, συσσώρευση, TTL και ενυδάτωση.

3) Τυπικές αρχιτεκτονικές

EFK/ELK: (Fluent Bit/Fluentd/Filebeat) → (Kafka - опц.) (Elasticsearch/OpenSearch) (Kibana/OpenSearch Dashboards). Καθολική αναζήτηση και ομαδοποίηση.
Loki-like (log indexing by labels): Promtail/Fluent Bit → Loki → Grafana. Φθηνότερο για μεγάλους όγκους, ισχυρό φίλτρο ετικέτας + γραμμική προβολή.
Cloud: CloudWatch/Cloud Logging/Log Analytics + εξαγωγή σε αποθήκευση εν ψυχρώ (S3/GCS/ADLS) ή/και SIEM.
Προσέγγιση λίμνης δεδομένων: αποστολείς → αποθήκευση αντικειμένων (parquet/iceberg) → φθηνά αναλυτικά ερωτήματα (Athena/BigQuery/Spark) + online στρώμα (OpenSearch/Loki) για τις τελευταίες N ημέρες.

Σύσταση: διατήρηση του επιγραμμικού στρώματος (7-14 ημέρες ζεστό) και του αρχειακού (μήνες/έτη) στη λίμνη με δυνατότητα ενυδάτωσης.

4) Διάγραμμα και μορφότυπος αρχείων καταγραφής (σύσταση)

json
{
"ts":"2025-11-01T13:45:12.345Z",
"level":"ERROR",
"service":"payments-api",
"env":"prod",
"region":"eu-central",
"tenant":"tr",
"trace_id":"0af7651916cd43dd8448eb211c80319c",
"span_id":"b7ad6b7169203331",
"request_id":"r-7f2c",
"user_id":"",        // masked
"route":"/v1/payments/charge",
"code":"PSP_TIMEOUT",
"latency_ms":1200,
"msg":"upstream PSP timeout",
"kv":{"provider":"psp-a","attempt":2,"timeout_ms":800}
}

Πρότυπα: RFC3339 για το χρόνο, επίπεδο από το σύνολο 'TRACE/DEBUG/INFO/WARN/ERROR/FATAL', κλειδιά σε snake_case.

5) Επίπεδα υλοτομίας και δειγματοληψία

Αποσφαλμάτωση - μόνο σε dev/στάδιο; σε προεξοχή με σημαία και με TTL.
INFO - κύκλος ζωής αιτήσεων/γεγονότων.
WARN - ύποπτες καταστάσεις χωρίς να επηρεάζεται η SLO.
ΣΦΑΛΜΑ/ΘΑΝΑΤΟΛΕΣ - Επίπτωση στο αίτημα/χρήστη.

• όριο επιτοκίου για επαναλαμβανόμενα σφάλματα (για παράδειγμα, 1/sec/κλειδί).
• δειγματοληψία στην ουρά των ιχνών (αφήστε πλήρη αρχεία καταγραφής/ίχνη μόνο για «κακά» αιτήματα).
• δυναμική: σε περίπτωση θύελλας σφαλμάτων, μειώστε τις λεπτομέρειες, εκτός συνοπτικής περιγραφής.

6) Παράδοση κορμοτεμαχίων (πρακτόρων και φορτωτών)

Στον κόμβο: Fluent Bit/Filebeat/Promtail συλλέγουν αρχεία stdout/juntrals, ανάλυση, κάλυψη, ρυθμιστικό διάλυμα.
Ουρές δικτύου: Kafka/NATS για ομαλοποίηση αιχμής, retrays και παραγγελία.
Αξιοπιστία: αντίθλιψη, ρυθμιστικά διαλύματα δίσκων, επιβεβαιώσεις παράδοσης (τουλάχιστον μία φορά), δείκτες idempotent (key-hash).
Φιλτράρισμα στην άκρη: απόρριψη «φλυαριών» και μυστικών πριν χτυπήσει το δίχτυ.

7) Τιμαριθμική αναπροσαρμογή και αποθήκευση

Χρονική κατανομή (ημερήσια/εβδομαδιαία) + ανά «env/περιφέρεια/ενοικιαστή» (μέσω δεικτών ή ετικετών).

• Θερμή (SSD, 3-14 ημέρες): γρήγορη αναζήτηση και ειδοποίηση.
• Ζεστό (HDD/καταψύκτη, 30-90 ημέρες): μερικές φορές κοιτάμε.
• Ψυχρό/Αρχείο (αντικείμενο, μήνες/έτη): συμμόρφωση και σπάνιες έρευνες.
• Συμπίεση και περιστροφή: ILM/ISM (πολιτικές κύκλου ζωής), gzip/zstd, μείωση της δειγματοληψίας (πίνακες συγκέντρωσης).
• Ενυδάτωση: προσωρινή φόρτωση αρχειοθετημένων παρτίδων σε «θερμό» σύμπλεγμα για έρευνα.

8) Αναζήτηση & Ανάλυση: δειγματοληπτικά ερωτήματα

Περιστατικό: φίλτρο χρόνου × 'service =...' × 'level> = ERROR' × 'trace _ id '/' request _ id'.
Πάροχοι: 'code: PSP _' and' kv. πάροχος: psp-a 'ομαδοποιημένος ανά περιφέρεια.
Ανωμαλίες: αύξηση της συχνότητας των μηνυμάτων ή αλλαγή των κατανομών πεδίου (ανιχνευτές ML, βάσει κανόνων).
Έλεγχος: 'κατηγορία: έλεγχος' + 'φορέας '/' πόρος' + αποτέλεσμα.

9) Συσχέτιση με μετρήσεις και ίχνη

Πανομοιότυπα αναγνωριστικά: 'trace _ id/span _ id' και στα τρία σήματα (metrics, logs, traces).
Σύνδεσμοι από γραφήματα: clickable transition from the p99 panel to the logs by 'trace _ id'.
Σημειώσεις κυκλοφορίας: εκδόσεις/καναρίνια σε μετρήσεις και αρχεία καταγραφής για γρήγορη σύνδεση.

10) Ασφάλεια, PII και συμμόρφωση

Ταξινόμηση πεδίου: PII/μυστικά/οικονομικά - μάσκα ή διαγραφή στην είσοδο (φίλτρα Fluent Bit/Lua, Re2).
RBAC/ABAC: πρόσβαση σε δείκτη/σήμα ανά ρόλο, κωπηλασία/επιτόπια ασφάλεια.
Αμετάβλητο (WORM/μόνο προσάρτημα) για ελεγκτικές και κανονιστικές απαιτήσεις.
Διατήρηση και «δικαίωμα να ξεχνάτε»: TTL/διαγραφή με κλειδιά, μαρκαρισμός 'user _ id'.
Υπογραφές: ακεραιότητα των επικριτικών περιοδικών (διοικητικές δράσεις, πληρωμές).

11) SLO και μετρήσεις καταγραφής αγωγών

Παράδοση: 99. 9% των συμβάντων στο θερμό στρώμα ≤ 30-60 δευτερόλεπτα.
Ζημίες: <0. 01% σε 24 ώρες (σύμφωνα με τα σημεία αναφοράς).
Διαθεσιμότητα αναζήτησης: ≥ 99. 9% σε 28 ημέρες.
Καθυστέρηση των αιτήσεων: p95 ≤ 2-5 δευτερόλεπτα σε τυπικά φίλτρα.
Κόστος: $/1M εκδηλώσεις και $/αποθήκευση/GB σε στρώματα.

12) Ταμπλό (ελάχιστο)

Υγεία των αγωγών: είσοδος/έξοδος φορτωτών, επανασυσκευασίες, προσκρουστήρες πλήρωσης, Kafka lag.
Σφάλματα κατά υπηρεσίες/κωδικούς: top N, τάσεις, εκατοστημόριο 'καθυστέρηση _ ms'.
Δραστηριότητα ελέγχου: διοικητικές ενέργειες, σφάλματα παρόχου, πρόσβαση.
Οικονομικά: όγκος/ημέρα, δείκτης-ανάπτυξη, αξία ανά στρώμα, «ακριβά» ερωτήματα.

13) Λειτουργίες και βιβλία αναπαραγωγής

Καταιγίδα καταγραφής: ενεργοποίηση επιθετικής δειγματοληψίας/ορίου ταχύτητας του παράγοντα, ανύψωση των προσκρουστήρων, προσωρινή μεταφορά μέρους του ρεύματος σε θερμότητα.
Μετατόπιση σχήματος: ειδοποίηση για την εμφάνιση νέων κλειδιών/τύπων, διαπραγμάτευση καταλόγου σχημάτων εκκίνησης.
Αργή αναζήτηση: ανακατασκευή δεικτών, αύξηση αντιγράφων, ανάλυση «βαρέων» ερωτημάτων, αρχειοθέτηση παλαιών παρτίδων.
Περιστατικό ασφαλείας: Άμεση αμετάβλητη δυνατότητα, εκφορτωμένα αντικείμενα, περιορισμένη πρόσβαση ανά ρόλο, RCA.

14) FinOps: πώς να μην σπάσει στα αρχεία καταγραφής

Αφαίρεση λεκτικότητας: στοίβα πολλαπλών γραμμών σε πεδίο 'στοίβας' και επαναλήψεις δειγμάτων.
Ενεργοποίηση TTL: διαφορετική για 'env '/' επίπεδο '/' κατηγορία'.
Χρησιμοποιήστε το Loki/αρχείο + ενυδάτωση κατά παραγγελία για σπάνια πρόσβαση.
Κόμματα και συμπίεση: Τα μεγαλύτερα κόμματα είναι φθηνότερα, αλλά παρακολουθούν τις SLA αναζήτησης.
Πραγματοποίηση συχνών αξιολογήσεων (καθημερινά συγκεντρωτικά μεγέθη).

15) Παραδείγματα οργάνων

Άπταιστα Bit (απόκρυψη και αποστολή στο OpenSearch)

ini
[INPUT]
Name       tail
Path       /var/log/app/.log
Parser      json
Mem_Buf_Limit   256MB

[FILTER]
Name       modify
Match
Remove_key    credit_card, password

[OUTPUT]
Name       es
Host       opensearch.svc
Port       9200
Index       logs-${tag}-${date}
Logstash_Format  On
Suppress_Type_Name On

Ημερολόγιο πρόσβασης Nginx в JSON с trace_id

nginx log_format json escape=json '{ "ts":"$time_iso8601","remote":"$remote_addr",'
'"method":"$request_method","path":"$uri","status":$status,'
'"bytes":$body_bytes_sent,"ua":"$http_user_agent","trace_id":"$http_trace_id"}';
access_log /var/log/nginx/access.json json;

OpenSearch ILM Policy (hot→warm→delete)

json
{
"policy": {
"phases": {
"hot":  { "actions": { "rollover": { "max_age": "7d", "max_size": "50gb" } } },
"warm": { "min_age": "7d", "actions": { "forcemerge": { "max_num_segments": 1 } } },
"delete":{ "min_age": "90d", "actions": { "delete": {} } }
}
}
}

16) Κατάλογος ελέγχου εφαρμογής

• Αποδεκτή διάταξη πεδίου και επίπεδα καταγραφής· η συσχέτιση ιχνοστοιχείου/αιτήματος-id είναι ενεργοποιημένη.
• Ρυθμισμένοι παράγοντες (Fluent Bit/Promtail) με κάλυψη και ρυθμιστικά διαλύματα.
• Επιλεγμένο ηλεκτρονικό στρώμα (OpenSearch/Loki/Cloud) και αρχείο (S3/GCS + parquet).
• ILM/ISM + πολιτικές συγκράτησης εν θερμώ/εν θερμώ/εν ψυχρώ, διαδικασία ενυδάτωσης.
• RBAC/ABAC, αμετάβλητη δυνατότητα ελέγχου, ημερολόγιο πρόσβασης.
• Ταμπλέτες αγωγών, ειδοποιήσεις απώλειας/προσκρουστήρες υστέρησης/δίσκων.
• Playbooks: log storm, schema drift, αργή αναζήτηση, περιστατικό ασφαλείας.
• Οικονομικά όρια: εκδηλώσεις $/1 εκατ., ποσοστώσεις για «ακριβά» αιτήματα.

17) Αντι-μοτίβα

Αρχεία καταγραφής κειμένου χωρίς δομή → αδυναμία διήθησης και ομαδοποίησης.
Γιγαντιαία στοιβασία σε έκρηξη όγκου INFO.
Έλλειψη συσχέτισης → «πτερύγιο» για όλες τις υπηρεσίες.
Η αποθήκευση «τα πάντα για πάντα» → τον λογαριασμό του νέφους σαν αεροπλάνο.
Μυστικά/PII στα αρχεία καταγραφής → κινδύνων συμμόρφωσης.
Χειροκίνητες επεξεργασίες δεικτών στις πωλήσεις → μετατόπιση και μακρά μείωση του χρόνου αναζήτησης.

18) Η τελική γραμμή

Η κεντρική καταγραφή είναι ένα σύστημα, όχι απλά μια στοίβα. Τα τυποποιημένα σχήματα, η συσχέτιση, οι ασφαλείς φορτωτές, η αποθήκευση σε στρώματα και οι αυστηρές πολιτικές πρόσβασης μετατρέπουν τους κορμούς σε ένα ισχυρό εργαλείο για SRE, ασφάλεια και προϊόν. Οι σωστές επαναλήψεις και οι FinOps διατηρούν τον προϋπολογισμό και οι αγωγοί SLO και playbooks κάνουν τις έρευνες γρήγορες και αναπαραγώγιμες.