Ροές δεδομένων μεταξύ κόμβων

(Τμήμα: Οικοσύστημα και Δίκτυο)

1) Ουσία και στόχοι

• Προβλεψιμότητα: Σταθεροί SLO με καθυστέρηση/επιτυχία/φρεσκάδα.
• Αξιοπιστία: αντοχή σε απώλειες, αντίγραφα, επανορθώσεις.
• Ασφάλεια και συμμόρφωση: κρυπτογράφηση, υπογραφές, κατοικία.
• Επεκτασιμότητα: γεωγραφική κατανομή, κατάτμηση, QoS.

2) Ταξινόμηση ροής

1. Επίπεδο ελέγχου: ρυθμίσεις, phicheflags, πολιτικές δρομολόγησης/ορίου.
2. Επίπεδο δεδομένων - γεγονός: γεγονότα πεδίου ("κατάθεση. «,» πληρωμή. «,» γέφυρα. ').
3. Επίπεδο δεδομένων - ρεύμα: μακρόβιες ροές (gRPC/WebSocket) για σήματα και ζωντανές μετρήσεις.
4. Παρτίδα/Backfill: λήψη ιστορικών φέτες, επαναλήψεις, στιγμιότυπα.
5. Αντιγραφή/αντιεντροπία: state sync, mercization, CRDT streams.
6. Τηλεμετρία/παρατηρησιμότητα: καταγραφές/μετρήσεις/μονοπάτια πλευρικής ζώνης, δεν παρεμβαίνουν στο κύριο UX.

Κάθε τύπος έχει κλάσεις QoS και τους δικούς του κανόνες retray/order.

3) Τοπολογίες και δρομολόγηση

Hub-and-Spoke: περιφερειακοί κόμβοι ως ελαστικά· έργα - κόμβοι ρόλων.
: μερικό πλέγμα για αντιγραφή/κουτσομπολιό.
Κλιμακωτή ακμή: πύλες λεπτών άκρων (όριο ταχύτητας/κρυφή μνήμη) → παχιά περιφερειακά σμήνη.
Geo-routing: Anycast/Latency-Aware LB + κανόνες διαμονής.

Κλειδί - κατάτμηση: 'κατάτμηση _ κλειδί = functionI ενοικιαστής' θέμα 'teachId' δίνει προβλέψιμη τάξη και κλίμακα.

4) Μεταφορές και μορφότυποι

, gRPC/QUIC - χαμηλή καθυστέρηση, πολλαπλοποίηση, keepalive.
Kafka/Pulsar/NATS - ουρές με εμμονή/μέρη/ομάδες καταναλωτών.
WebSocket - push events and live feeds.
Μορφότυποι: Protobuf/Avro (συστήματα με εξέλιξη), JSON για εξωτερικές API.
Διεύθυνση Hash και αποδείξεις Merkle για επαλήθευση ακεραιότητας.

5) Παραγγελία, παράδοση και οριστικοποίηση

• Τουλάχιστον μία φορά (εξ ορισμού· απαιτούμενη ιδιαιτερότητα/νεκροψία).
• Ακριβώς μία φορά το αποτέλεσμα μέσω του Outbox/Inbox + idempotent καταναλωτή.
• Διάταξη: εγγυημένη εντός του διαδίκου. η διακομματική εντολή δεν είναι εγγυημένη.
• Οριστικοποίηση: οι καταστάσεις 'παρατηρήθηκαν → επιβεβαιώθηκαν (K) → οριστικοποιήθηκαν → άκυρα (reorg)'. για αισιόδοξο - παράθυρο διαφορών.

6) Idempotence και dedup

• 'idempotency _ key = $ {thankingId}

• Αναβάθμιση με πλήκτρο, TTL του παραθύρου αφαίρεσης ≥ 72 ώρες.
• Για μια σύγκρουση, το ωφέλιμο φορτίο είναι η πολιτική της «πηγής της αλήθειας» (προτεραιότητα, έκδοση, υπογραφή).
• Για αιτήματα HTTP, η επικεφαλίδα είναι 'Idempotency-Key' + response log.

7) Ουρές αναμονής, αντίθλιψη και ποσοστώσεις

Ουρές αναμονής: μέρη ανά κλειδί· DLQ για «δηλητηριώδη» μηνύματα.
Backpressure: πιστώσεις/μάρκες, μέγιστο όριο πτήσης, διακόπτης κυκλώματος.
Ποσοστώσεις/QoS: P0 (κρίσιμη), P1 (προϊόν), P2 (χύμα). Split pools/RPS όρια/bytes/s/συνδρομές.
Έλεγχος εισδοχής: έγκαιρη άρνηση «ακριβών» αιτημάτων, επιφυλακή ανά εύρος/μέγεθος.

8) Συνοχή και μοντέλα δεδομένων

Ανάγνωση-σας-γράψτε μέσα στο κόμμα/κόμβο.
Ενδεχόμενη συνοχή μεταξύ περιφερειών/μερών.
CRDT για αναπαραγωγή ορισμένων συνόλων χωρίς συγκρούσεις (μετρητές, σύνολα).
Στιγμιότυπα + κούτσουρα για γρήγορη bootstrap και deterministic replay.

9) Ασφάλεια και εμπιστοσύνη

mTLS μεταξύ κόμβων, καρφίτσας κλειδιού, περιστροφής.
Υπογραφές μηνυμάτων/webhook, χρονοσφραγίδα και παράθυρα κατά της αναπαραγωγής.
Κρυπτογράφηση καθ 'οδόν/σε ηρεμία. διαχωρισμός των περιφερειακών κλειδιών.
ελαχιστοποίηση PII: μαρκινοποίηση, απαγόρευση προσωπικών δεδομένων σε ετικέτες/μετρήσεις.

10) Απόδοση: συσκευασία, συμπίεση, μνήμη

Ομαδοποίηση μικρών μηνυμάτων για τη μείωση των εναέριων δαπανών.
Συμπίεση: zstd/gzip με ασφαλή λεξικά.
Μετρητά: αρνητικές απαντήσεις και «θερμοί» κατάλογοι. TTL και αναπηρία ανά εκδήλωση.

11) Διαγράμματα δεδομένων (παραπομπές)

Μητρώο ροής/παρτίδας

sql
CREATE TABLE streams (
name TEXT PRIMARY KEY,
partitions INT,
qos TEXT,        -- P0    P1    P2 retention_days INT,
schema_version TEXT
);

CREATE TABLE offsets (
stream TEXT, partition INT, consumer_group TEXT,
offset BIGINT, updated_at TIMESTAMPTZ,
PRIMARY KEY (stream, partition, consumer_group)
);

Ημερολόγιο γεγονότων (idempotent upsert)

sql
CREATE TABLE events_core (
id UUID PRIMARY KEY,
idempotency_key TEXT UNIQUE,
ts TIMESTAMPTZ,
partition_key TEXT,
type TEXT,
payload JSONB,
status TEXT,      -- observed    confirmed    finalized    invalidated signature TEXT
);

DLQ/Καραντίνα

sql
CREATE TABLE dlq (
id UUID PRIMARY KEY,
stream TEXT, partition INT, offset BIGINT,
reason TEXT, payload JSONB, ts TIMESTAMPTZ
);

12) Πολιτικές (YAML)

QoS και όρια

yaml qos:
P0: { ack_timeout_ms: 2000, retries: 3, backoff_ms: [100,400,800], rps_per_org: 1500 }
P1: { ack_timeout_ms: 5000, retries: 2, rps_per_org: 800 }
P2: { best_effort: true, rps_per_org: 200 }
limits:
max_message_bytes: 1048576 max_stream_subscriptions_per_client: 20

Οριστικοποίηση και παράθυρα

yaml finality:
eth-mainnet: { k: 12 }
polygon:   { k: 256 }
optimistic: { k: 0, challenge_minutes: 20 }

Δρομολόγηση/Κατοικία

yaml routing:
prefer_local_region: true fallback: [nearest_healthy, master_hub]
residency:
eu: ["eu"]
uk: ["uk"]

13) Παρατηρησιμότητα: SLI/SLO

• Καθυστέρηση p95/p99 (ingress→egress, ανά ρεύμα/QoS).
• Ποσοστό επιτυχίας/ποσοστό πτώσης.
• Σειρά αναμονής Lag p95 και υστέρηση καταναλωτή ανά μέρος.
• Φρεσκάδα p95 (ingest→consume).
• Reorg/Μη έγκυρος ρυθμός (εάν πρόκειται για αλυσίδα).
• Αποδοτικότητα Dedup (% των λήψεων απορροφώνται άψογα).
• Λόγος Geo-Hit (τοπικά εξυπηρετούμενο).

• P0 λανθάνουσα p95 ≤ 400 ms· Επιτυχία ≥ 99. 95%; Σειρά αναμονής p95 ≤ 2 с, Φρεσκάδα p95 ≤ 60 с.
• Απόδοση αποσύνθεσης ≥ 99%. DLQ ≤ 0. 1% της κυκλοφορίας.

Dashboards: Streams Core/Lag & Freshness/QoS & Errors/Geo/Security (mTLS/υπογραφές).

14) Καταναλωτικά πρότυπα

Outbox/Inbox: ατομική έκδοση και εφαρμογή idempotent.
Εάν έχετε περαιτέρω απορίες, ρωτήστε τον γιατρό, τον φαρμακοποιό ή τον νοσοκόμο σας.
Υδατογραφήματα: καθυστερημένα δεδομένα.
Idempotent Side-Effects: εξωτερικά ερωτήματα με μόνο καταγραφή κλειδιών και απόκρισης.

15) Τρόποι υποβάθμισης

Οριστικοποιημένη λειτουργία μόνο: εκδίδουμε μόνο οριστικοποιημένα γεγονότα.
Cache-μόνο για βιβλία αναφοράς, κατάψυξη βαρέων μεθόδων.
Γκάζι P2 και «τρόπος διατροφής» για ρεύματα (μειωμένος ρυθμός ανανέωσης).
Μόνο για δευτερογενείς ΑΡΙ.

16) Απελευθερώσεις χωρίς μειωμένο χρόνο και μεταναστεύσεις

Γαλάζιο-πράσινο/Κανάριο από τις ροές και τους καταναλωτές.
Σχήμα-πρώτα: προσθήκη πεδίων μόνο. MAJOR - παράλληλες εκδόσεις θεμάτων.
Αντιστάθμιση της μετανάστευσης: σκιώδεις καταναλωτές, σύγκριση υστέρησης/επιτυχίας, αλλαγή.

17) Κανονισμοί λειτουργίας

Ημερήσια: έκθεση SLO (καθυστέρηση/επιτυχία/καθυστέρηση/φρεσκάδα), έλεγχος υπογραφής, έλεγχος DLQ.
Εβδομαδιαία: αναθεώρηση παρτίδων/ποσοστώσεων, δοκιμή DR (bootstrap από στιγμιότυπο), ανάλυση Dedup Efficiency.
Μηνιαία: δοκιμές χάους (απώλεια/νευρικότητα, αποτυχία μεσίτη, αναταραχή), αναθεώρηση των παραθύρων τελικής επιλογής.
Πριν την απελευθέρωση: καναρίνι ≥120 min, πύλες SLO, σχέδιο ανατροπής.

18) Περιστατικά του βιβλίου παιχνιδιών

A. έκρηξη Queue-Lag/Consumer-Lag

1. Αύξηση των καταναλωτών/KEDA· 2) αναδιανομή των μερών· 3) πάγωμα των θέσεων εργασίας Ρ2 και χύδην· 4) ανάλυση των «θερμών» κλειδιών.

Β. Ανάπτυξη του p95 Latency P0

1. , προτεραιότητα P0· 2) πύλες/μεσίτες κλίμακας, 3) κρυφή μνήμη μόνο για βιβλία αναφοράς· 4) πιο ακραία εκτίναξη.

Γ. Υψηλή DLQ/μεταγλώττιση

1. Έλεγχος του πλήκτρου ταυτότητας/TTL. 2) ενίσχυση της αφαίρεσης· 3) τον περιορισμό του θορυβώδους παραγωγού· 4) επανάληψη μετά τη διόρθωση.

Δ. Καθεστώτα/συμβάσεις παρασυρόμενων αλιευμάτων

1. Ενεργοποίηση αυστηρής λειτουργίας (αποκοπή άκυρων). 2) ενημερώνει τον παραγωγό· 3) απελευθέρωση του προσαρμογέα· 4) επικαιροποιημένες γραμμές.

E. Παραβίαση κατοικίας/υπογραφών

1. Μονάδα εξαγωγής/διαύλου· 2) περιστροφή κλειδιών/σερβιτόρων· 3) έλεγχος και μεταθανάτια· 4) επικαιροποίηση των πολιτικών.

19) Κατάλογος ελέγχου εφαρμογής

1. Ορισμός των τύπων ρεύματος και του κλειδιού κατάτμησης.
2. Ενεργοποίηση idempotence/dedup και οριστικοποίηση με παράθυρα K/διαφορών.
3. Ρυθμίστε ουρές αναμονής, QoS, ποσοστώσεις και αντίθλιψη.
4. mTLS/Υπογραφές και πολιτική διαμονής.
5. Εισάγετε σχήματα/μητρώα (ροές, αντισταθμίσεις, dlq) και SLI/SLO τηλεμετρία.
6. Οργανώστε τις μεταναστεύσεις καναρινιού/μπλε-πράσινου και χωρίς downtime.
7. Επεξεργαστείτε τρόπους υποβάθμισης και βιβλία αναπαραγωγής συμβάντων.

20) Γλωσσάριο

Αντίθλιψη - έλεγχος φορτίου εισόδου (πιστώσεις/μάρκες/όρια).
DLQ - «νεκρή σειρά αναμονής» για προβληματικά μηνύματα.
CRDT - δομές δεδομένων με επίλυση συγκρούσεων χωρίς συντονισμό.
Οριστικότητα - μη αναστρεψιμότητα του γεγονότος/κράτους.
Επακριβώς εφαρµογή - επαναλαµβανόµενο ασφαλές αποτέλεσµα για τουλάχιστον µία φορά την ηµέρα.
Υδατογράφημα - Επεξεργασία σημείου προόδου για καθυστερημένα γεγονότα.
Πιο ακραία εξώθηση - αποκλεισμός υποβαθμισμένων περιπτώσεων από την κοινοπραξία.

Κάτω γραμμή: οι ροές δεδομένων μεταξύ κόμβων δεν είναι απλά μια «ουρά αναμονής και ακροατής», αλλά μια συστημική πειθαρχία της τάξης, οριστικοποίηση, ιδεατότητα, ασφάλεια και παρατηρησιμότητα. Τα τυποποιημένα κλειδιά κατάτμησης, το QoS/ποσοστώσεις, τα αυστηρά συστήματα και οι SLO, μαζί με τους τρόπους υποβάθμισης και τα βιβλία αναπαραγωγής, παρέχουν στο οικοσύστημα σταθερούς διαύλους μετάδοσης δεδομένων σε κλίμακα και υπό έλεγχο.