Εγγυήσεις εντολών μηνυμάτων

1) Τι είναι «τάξη» και γιατί χρειάζεται

Η σειρά των μηνυμάτων είναι μια σχέση «τι πρέπει να επεξεργαστεί πριν» για γεγονότα μιας οντότητας (παραγγελία, χρήστης, πορτοφόλι) ή για ολόκληρο το ρεύμα. Είναι σημαντικό για τις αναλλοίωτες: «κατάσταση A πριν από B», «ισορροπία πριν από τη διαγραφή», «έκδοση n πριν από n + 1».
Στα κατανεμημένα συστήματα, η συνολική τάξη είναι δαπανηρή και σπάνια χρειάζεται. συνήθως επαρκεί μια τοπική σειρά ανά κλειδί.

2) Είδη εγγυήσεων παραγγελίας

1. Ανά κατάτμηση (τοπική τάξη στο τμήμα καταγραφής) - Κάφκα: η σειρά εντός του μέρους διατηρείται, μεταξύ των μερών - όχι.
2. Ανά κλειδί (παραγγελία κλειδιού/ομάδας μηνυμάτων) - όλα τα μηνύματα με ένα πλήκτρο δρομολογούνται σε ένα «νήμα» επεξεργασίας (πλήκτρο Kafka, πλήκτρο SQS FIFO Message GoogId, πλήκτρο Pub/Sub παραγγελίας).
3. Συνολική σειρά - ολόκληρο το σύστημα βλέπει μια ενιαία σειρά (κατανεμημένο περιοδικό/sequencer). Δαπανηρή, υποβαθμίζει τη διαθεσιμότητα και την απόδοση.
4. Αιτιώδης τάξη - "γεγονός B μετά A εάν B παρατηρεί επίδραση A. Είναι προσβάσιμο μέσω μεταδεδομένων (εκδόσεις, Lamport-times/διανυσματικά ρολόγια) χωρίς παγκόσμια ακολουθία.
5. Σειρά βέλτιστης προσπάθειας - ο μεσίτης προσπαθεί να διατηρήσει την τάξη, αλλά σε περίπτωση αποτυχίας, είναι δυνατές οι μεταθέσεις (συχνά στο NATS Core, RabbitMQ με αρκετούς καταναλωτές).

3) Σε περίπτωση βλάβης της παραγγελίας

Παράλληλοι καταναλωτές της ίδιας σειράς αναμονής (RabbitMQ: διάφοροι καταναλωτές ανά σειρά αναμονής → διασταύρωση).
Retrays/re-deliveries (τουλάχιστον μία φορά), «ack» timeouts, re-queuing.
Επανισορρόπηση/feilover (Κάφκα: κίνηση κόμματος/ηγέτη).
DLQ/επανεπεξεργασία - το «δηλητηριώδες» μήνυμα πηγαίνει στο DLQ, τα επόμενα προχωρούν περαιτέρω → μια λογική διακοπή.
Πολυπεριφέρεια και αναπαραγωγή - διαφορετικές καθυστερήσεις → μη ευθυγράμμιση.

4) Σχεδιασμός βασικών εντολών

• Χρήση φυσικών κλειδιών: 'order _ id', 'wallet _ id', 'cumbate _ id'.
• Παρακολουθήστε για «καυτά κλειδιά» - ένα κλειδί μπορεί να «μπλοκάρει» τη ροή (μπλοκάρισμα κεφαλής γραμμής). Αν είναι απαραίτητο, μοιράστε το κλειδί: 'order _ id # shard (0.. k-1) "με αποφασιστική ανακατασκευή της τάξης στο νεροχύτη.
• Στην Κάφκα - ένα κλειδί → ένα μέρος, η σειρά θα διατηρηθεί μέσα στο κλειδί.

java producer.send(new ProducerRecord<>("orders", orderId, eventBytes));

(Κλειδί = το 'organId' εγγυάται την τοπική τάξη.)

5) «Order vs. bandwide»

• Ένας καταναλωτής ανά σειρά αναμονής διατηρεί την τάξη αλλά μειώνει το νόμισμα.
• Τουλάχιστον μία φορά + το νόμισμα βελτιώνει την απόδοση, αλλά απαιτεί ιδεατότητα και/ή ανακατάταξη.
• Η παγκόσμια τάξη προσθέτει το άλμα στη σειρά → ↑latentnost και τον κίνδυνο αποτυχίας.

Συμβιβασμός: ανά σειρά κλειδιών, παραλληλισμός = αριθμός κομμάτων/ομάδων, + idempotent μελανιές.

6) Έλεγχος της τάξης σε συγκεκριμένους μεσίτες

Κάφκα

Διαταγή εντός του διαδίκου.
Παρατήρηση 'max. in. πτήση. αιτήματα. per. σύνδεση ≤ 5 'с' ενεργοποίηση. idempotence = true 'έτσι ώστε τα retrays του παραγωγού να μην αλλάζουν σειρά.
Ομάδα καταναλωτών: ένα μέρος → έναν εργαζόμενο κάθε φορά. Οι επαναλαμβανόμενες παραδόσεις είναι δυνατές → διατηρήσουν την ακολουθία/έκδοση στο επιχειρηματικό επίπεδο.
Οι συναλλαγές ανάγνωσης-διεργασίας-γραφής διατηρούν συνέπεια ανάγνωσης/γραφής/ανατροπής, αλλά δεν δημιουργούν μια παγκόσμια τάξη.

properties enable.idempotence=true acks=all retries=2147483647 max.in.flight.requests.per.connection=5

RabbitMQ (AMQP)

Η παραγγελία είναι εγγυημένη σε μια σειρά αναμονής για έναν καταναλωτή. Με πολλούς καταναλωτές μηνυμάτων μπορεί να προκύψουν «ανάμεικτα» μηνύματα.
Για παραγγελία: ένας καταναλωτής ή προπέτασμα = 1 + ack όταν τελειώσει. Για το νόμισμα, ξεχωριστές ουρές ανά κλειδιά (ανταλλαγές κομματιών/συνεκτική ανταλλαγή hash).

NATS/JetStream

Πυρήνας NATS - η καλύτερη προσπάθεια, η χαμηλή καθυστέρηση, η τάξη μπορεί να διαταραχθεί.
JetStream: παραγγελία εντός του ρεύματος/ακολουθίας. κατά τη διάρκεια των επαναλήψεων, είναι δυνατή η αναδιάταξη της κονσόλας → τη χρήση της ακολουθίας και του ρυθμιστικού διαλύματος ανάκτησης.

SQS FIFO

Ακριβώς μία φορά επεξεργασία (αποτελεσματικά, λόγω της αφαίρεσης) και παραγγελία εντός του Messing Group Id. Νόμισμα - ο αριθμός των ομάδων εντός μιας ομάδας επικεφαλής γραμμής.

Google Pub/sub

Το κλειδί παραγγελίας δίνει τη σειρά μέσα στο κλειδί. σε περίπτωση σφαλμάτων, η δημοσίευση εμποδίζεται έως ότου αποκατασταθεί - προσέξτε για την αντίθλιψη.

7) Πρότυπα διατήρησης και αποκατάστασης της τάξης

7. 1 Ακολουθία/έκδοση

• λαμβάνει ένα γεγονός μόνο εάν 'seq = last_seq + 1'·
• διαφορετικά - τοποθετεί το ρυθμιστικό διάλυμα αναμονής πριν από την άφιξη του αγνοούμενου ('last _ seq + 1').

pseudo if seq == last+1: apply(); last++
else if seq > last+1: buffer[seq] = ev else: skip // дубль/повтор

7. 2 Ρυθμιστικά διαλύματα και παράθυρα (επεξεργασία ρεύματος)

Χρονικό παράθυρο + υδατογράφημα: αποδεχόμαστε εκτός λειτουργίας μέσα στο παράθυρο, σύμφωνα με το υδατογράφημα «κλείνουμε» το παράθυρο και το κανονίζουμε.
Επιτρεπόμενη καθυστέρηση: κανάλι για καθυστερημένες αφίξεις (επαναφορά/αγνόηση).

7. 3 Δρομολόγηση κατά πλήκτρο

Το hash (κλειδί)% shards hash routing στέλνει όλα τα βασικά γεγονότα σε έναν μόνο εργαζόμενο.
Στο Kubernetes - διατηρήστε μια συνεδρία (sticky) σε επίπεδο ουράς/sherds, όχι στον ισολογισμό L4 HTTP.

7. 4 Μοντέλο παράγοντα/» μία ροή ανά κλειδί«

Για τα κρίσιμα συγκεντρωτικά μεγέθη (πορτοφόλι): ο παράγοντας επεξεργάζεται διαδοχικά, το υπόλοιπο του παραλληλισμού - τον αριθμό των παραγόντων.

7. 5 Idempotence + αναδιάταξη

Ακόμη και με την αποκατάσταση της τάξης, είναι δυνατές επαναλήψεις. Συνδυάστε το UPSERT με την έκδοση κλειδιού + και το Inbox (βλέπε Ακριβώς μία φορά έναντι τουλάχιστον μιας φοράς).

8) Εργασία με «δηλητηριώδη» μηνύματα (δηλητηριώδη χάπια)

Η διατήρηση της τάξης είναι αντιμέτωπη με το καθήκον: «πώς να ζήσεις αν δεν επεξεργαστεί ένα μήνυμα»

Αυστηρή σειρά: μπλοκάρισμα ροής κλειδιών (SQS FIFO: ολόκληρη η ομάδα). Η λύση είναι by-key DLQ: μεταφέρουμε μόνο το κλειδί/ομάδα του προβλήματος σε μια ξεχωριστή ουρά/χειροκίνητη ανάλυση.
Ευέλικτη τάξη: επιτρέπουμε την παραίτηση/αποζημίωση. καταγράφουμε και συνεχίζουμε (όχι για οικονομικά/κρίσιμα συγκεντρωτικά μεγέθη).
Πολιτική επαναπροσδιορισμού: περιορισμένα αποτελέσματα 'max-delivery' + backoff + avidempotent.

9) Πολυπεριφερειακά και παγκόσμια συστήματα

Η διασύνδεση/αντιγραφή (Kafka) δεν εγγυάται διαπεριφερειακή παγκόσμια τάξη. Δώστε προτεραιότητα στην τοπική ανά κλειδί τάξη και σε ιδεατές μελανιές.
Για μια πραγματικά παγκόσμια τάξη, χρησιμοποιήστε ένα sequencer (κεντρικό αρχείο καταγραφής), αλλά αυτό επηρεάζει τη διαθεσιμότητα (ΚΓΠ: μείον Α για διαλείμματα δικτύου).
Εναλλακτική: αιτιώδης τάξη + CRDT για ορισμένους τομείς (μετρητές, σύνολα) - δεν απαιτείται αυστηρή σειρά.

10) Παρατηρησιμότητα της τάξης

: 'out _ of _ order _ total', 'redered _ in _ window _ total', 'late _ events _ total', 'buffer _ size _ current', 'blocked _ keys _ total', 'fifo _ group _ backlog'.

11) Αντι-μοτίβα

Μια σειρά αναμονής + πολλοί καταναλωτές χωρίς να επιβαρύνονται με το κλειδί - η παραγγελία διαλύεται αμέσως.
Retrai μέσω του re-public στην ίδια ουρά χωρίς idempotency - διπλά + εκτός τάξης.
Η παγκόσμια τάξη «σε κάθε περίπτωση» είναι μια έκρηξη καθυστέρησης και αξίας χωρίς πραγματικό όφελος.
SQS FIFO μία ομάδα για όλους - πλήρης επικεφαλής γραμμής. Χρήση Message GoogId ανά κλειδί.
Αγνοώντας «καυτά κλειδιά» - ένα «πορτοφόλι» επιβραδύνει τα πάντα. διαιρεί το κλειδί σε υπο-κλειδιά, όπου είναι δυνατόν.
Ανάμειξη κρίσιμων και μαζικών ροών στην ίδια σειρά αναμονής/ομάδα - αμοιβαία επιρροή και απώλεια τάξης.

12) Κατάλογος ελέγχου εφαρμογής

• Ανά κλειδί/ανά κατάτμηση/αιτιώδης/παγκόσμια
• Σχεδιασμένη στρατηγική κλειδιού αλληλουχίας και αντι-καυτού κλειδιού.
• Ρυθμισμένο Router: κατάτμηση/Message Group Id/πλήκτρο παραγγελίας.
• Οι κονσόλες απομονώνονται από κλειδιά (sticky-routing, shard-workers).
• Περιλαμβάνονται η ταυτότητα και/ή τα εισερχόμενα/UPSERT σε μώλωπες.
• Εφαρμοσμένη ακολουθία/έκδοση και ανακατάταξη ρυθμιστικού διαλύματος (εάν είναι απαραίτητο).
• DLQ από βασικές πολιτικές και backoff retrays.
• Μετρήσεις εκτός λειτουργίας, blocked_keys, late_events τάξης και συναγερμού.
• Ημέρα παιχνιδιού: ισορροπία, απώλεια κόμβου, δηλητηριώδες μήνυμα, καθυστερήσεις δικτύου.
• Τεκμηρίωση: αναλλοίωτες παραγγελίες, όρια παραθύρων, επιπτώσεις στις SLA.

13) Παραδείγματα διαμόρφωσης

13. 1 Kafka Καταναλωτής (ελαχιστοποίηση παράβασης παραγγελίας)

properties max.poll.records=500 enable.auto.commit=false  # коммит после успешной обработки батча isolation.level=read_committed

13. 2 RabbitMQ (παραγγελία ανά τιμή νομίσματος)

Ένας καταναλωτής ανά σειρά αναμονής + 'βασικό. qos (prefetch = 1) '

bash rabbitmq-plugins enable rabbitmq_consistent_hash_exchange публикуем с хедером/ключом для консистентного хеша

13. 3 SQS FIFO

Ορισμός μηνύματος GoogId = πλήκτρο. Νόμισμα = αριθμός ομάδων.
Message DeduplicationId για προστασία από αντίγραφα (στο παράθυρο του παρόχου).

13. 4 NATS JetStream (παραγγελία καταναλωτή, σκίτσο)

bash nats consumer add ORDERS ORD-KEY-42 --filter "orders.42.>" --deliver pull \
--ack explicit --max-deliver 6

Κλειδί> Παρακολούθηση της 'εξίσωσης' και ανακατάταξη ρυθμιστικού διαλύματος στην εφαρμογή.

14) ΣΥΧΝΈΣ ΕΡΩΤΉΣΕΙΣ

Ε: Χρειάζομαι μια παγκόσμια τάξη

Α: Σχεδόν ποτέ. Σχεδόν πάντα αρκετά ανά κλειδί. "παγκόσμια τάξη είναι δαπανηρή και πλήττει την οικονομική προσιτότητα.

Ε: Τι γίνεται με το «δηλητηριώδες» μήνυμα με αυστηρή σειρά

A: Μεταφέρετε μόνο το κλειδί/την ομάδα του στο DLQ, τα υπόλοιπα - συνεχίστε.

Ε: Μπορείτε να πάρετε παραγγελία και κλίμακα ταυτόχρονα

A: Ναι, σειρά κλειδιών + πολλά κλειδιά/μέρη + idempotent λειτουργίες και ανακατάταξη προσκρουστήρων όπου χρειάζεται.

Ε: Ποιο είναι πιο σημαντικό: τάξη ή ακριβώς μία φορά

A: Για τους περισσότερους τομείς - σειρά κλειδών + αποτελεσματικά αποτελέσματα ακριβώς μία φορά (idempotency/UPSERT). Οι μεταφορές μπορεί να είναι τουλάχιστον μία φορά.

15) Σύνολα

Η τάξη αποτελεί τοπική εγγύηση γύρω από το επιχειρηματικό κλειδί, όχι δαπανηρή παγκόσμια πειθαρχία. Πλήκτρα σχεδιασμού και μέρη, περιορισμός των θερμών κλειδιών, χρήση της ιδεότητας και, όπου είναι απαραίτητο, ακολουθία + ανακατάταξη ρυθμιστικού διαλύματος. Προσέξτε για μετρήσεις εκτός τάξης και μπλοκαρισμένα κλειδιά, δοκιμαστικές συντριβές - και έχετε προβλέψιμη επεξεργασία χωρίς να θυσιάσετε την απόδοση ή τη διαθεσιμότητα.