Ακριβώς μία φορά σημασιολογία

Τι ακριβώς μια φορά είναι πραγματικά

• Παράδοση: Το μήνυμα θα παραδοθεί στον καταναλωτή ακριβώς μία φορά.
• Επεξεργασία: η τελική παρενέργεια (εγγραφή στη βάση δεδομένων, αλλαγή ισορροπίας, έκδοση άλλου γεγονότος) θα συμβεί ακριβώς μία φορά, ακόμη και αν υπήρξαν περισσότερες παραδόσεις ή απόπειρες.

Στα κατανεμημένα συστήματα, είναι πιο αξιόπιστο να μιλάμε για την επεξεργασία της σημασιολογίας. Η παράδοση ακριβώς μια φορά είναι δύσκολη (τα αντίγραφα και τα αντίγραφα είναι αναπόφευκτα), αλλά η προκύπτουσα κατάσταση μπορεί να γίνει ισοδύναμη με μία μόνο επεξεργασία.

Όταν χρειάζεται EOS και πότε όχι

• Συναλλαγές μετρητών και υπόλοιπα: Δεν επιτρέπονται διπλές διαγραφές.
• Λογιστική αδειών/ποσοστώσεων, μετρητές χρέωσης.
• Μη αναστρέψιμες εξωτερικές κλήσεις (π.χ. εφάπαξ ενεργοποίηση κλειδιού).

• Οι επιδράσεις είναι αναστρέψιμες ή αντισταθμίσιμες (sagas, αποδόσεις).
• Επιτρέπονται προσωρινά αντίγραφα σε αποθήκες/κορμούς.
• Είναι φθηνότερο να παρέχουμε ένα ιδεατό νεροχύτη από το να παρασύρουμε τις συναλλαγές σε όλη την πορεία.

Υπόδειγμα: end-to-end vs. hop-by-hop

Hop-by-hop EOS: κάθε τμήμα (πηγή-μεταποιητής δέκτης) εγγυάται ότι θα εφαρμόσει τη δράση του ακριβώς μία φορά.
End-to-end EOS: Ολόκληρη η αλυσίδα εξασφαλίζει ότι από «γεγονός» έως «παρενέργεια», το αποτέλεσμα είναι ισοδύναμο με μία μόνο θεραπεία.

Στην πράξη, από το τέλος έως το τέλος επιτυγχάνεται με συνδυασμό συναλλαγών ή/και ιδεότητας σε κάθε λυκίσκο.

Βασικά δομικά στοιχεία

1. Λειτουργίες idempotent

Η επανάληψη της ίδιας ερώτησης στο κλειδί λειτουργίας παράγει το ίδιο αποτέλεσμα.

: 'idempotency _ key '/' event _ i /' operation _ i .
Εφαρμογή: πίνακας των «ορατών» πράξεων με TTL ≥ παρουσίαση του ημερολογίου εισόδου.

2. Συναλλαγές ανάγνωσης-διεργασίας-εγγραφής

Σε μία ατομική μονάδα εργασίας καταγράφονται τόσο η παρενέργεια όσο και η πρόοδος ανάγνωσης (αντισταθμίσεις/θέση). Αυτό εξαλείφει τα «φαντάσματα» όταν πέφτουν ανάμεσα στα βήματα.

3. Έκδοση/ΑΚΟΛΟΥΘΙΑ

Για το σύνολο αποθηκεύεται έκδοση/μετρητής· οι αλλαγές ισχύουν μόνο εάν οι αγώνες «αναμενόμενη _ έκδοση». Οι επαναλήψεις του ίδιου γεγονότος δεν αυξάνουν την έκδοση του αποτελέσματος μία φορά.

4. Αφυδάτωση

Δείκτης «(consumer_id, event_id)» ή στο φυσικό «business _ id» της συναλλαγής.

Πρότυπα εφαρμογής

1) Ημερολόγιο συναλλαγών + νεροχύτης συναλλαγών με σταθεροποίηση όφσετ

Ιδανικό για επεξεργασία ρεύματος.

Διαβάζουμε από το ημερολόγιο (μόνο επιβεβαιωμένες καταχωρήσεις).
Διεξάγουμε επεξεργασία.

• α) εγγραφή του αποτελέσματος σε νεροχύτη (βάση δεδομένων/πίνακας),
• β) να οριστεί η φράση «διαβάζεται για να αντισταθμίζει το Ν» (στην ίδια βάση δεδομένων).
• Αφαίρεση. Κατά την επανεκκίνηση, είτε τα πάντα είναι προεξοφλημένα (και η αντιστάθμιση μετατοπίζεται), είτε τίποτα.

Ιδιότητες: η επαναλαμβανόμενη εκτέλεση δεν είναι επιβλαβής. «ακριβώς μία φορά» στην πραγματικότητα, ακόμη και αν το μήνυμα διαβάστηκε δύο φορές.

2) Outbox + idempotent καταναλωτής

Για υπηρεσίες παραγωγών εμπορικών συναλλαγών.

Σε μια συναλλαγή βάσης δεδομένων: αλλάξτε την εγγραφή πεδίου και γράψτε το γεγονός στο outbox.
Ο επαναλήπτης παραδίδει το γεγονός στο λεωφορείο με το ίδιο «event _ id».
Οι καταναλωτές εφαρμόζουν τα γεγονότα ταυτοχρόνως (dedup by 'event _ id').

Ιδιότητες: Ο παραγωγός εξασφαλίζει ότι δεν χάνεται κανένα γεγονός. οι καταναλωτές εγγυώνται ακριβώς ένα αποτέλεσμα.

3) EOS σε συστήματα τύπου Κάφκα/Flink (εννοιολογικά)

Idempotent παραγωγός: προστατεύει από την αποστολή υποχωρήσεων.
Συναλλαγές παραγωγών: μια ομάδα καταχωρίσεων σε θέματα + μια στροφή καταναλωτή δεσμεύονται ατομικά. οι αναγνώστες χρησιμοποιούν το 'read _ δεσμευμένο' isolation.
Η πλευρά της επεξεργασίας αποθηκεύει το κρατικό κατάστημα και το δεσμεύει μαζί με τη συναλλαγή.

Ιδιότητες: Η επανεκκίνηση της αποθήκης/οπισθέλκουσας δεν οδηγεί σε διπλό αποτέλεσμα. αντίγραφα «μη ορατά» κατάντη.

4) Idempotent «νεροχύτες» μέσω upsert/συγχώνευση

Ο νεροχύτης παίρνει 'λειτουργία _ i /' event _ i and εκτελεί' UPSERT... ΟΠΩΣ ΔΕΝ ΥΠΑΡΧΕΙ ".
Η παρενέργεια (για παράδειγμα, η δεδουλευμένη) εκτελείται ατομικά με τον έλεγχο «δεν έχει ήδη εφαρμοστεί».

Ιδιότητες: φθηνή μέθοδος EOS στην άκρη με αποθήκευση, χωρίς κατανεμημένες συναλλαγές.

Βασικά στοιχεία εφαρμογής

Αναγνωριστικά συναλλαγής

Πρέπει να είναι καθοριστικός για επαναλήψεις (μην δημιουργείτε νέα UUID κατά την επανατοποθέτηση).
Να έχουν σταθερό πεδίο εφαρμογής (για τον καταναλωτή/μονάδα/σύστημα).

Πίνακας αφαίρεσης

: 'consumer _ i ,' operation _ i , 'applicated _ a ,' ttl _ λήγει _ a .
Δείκτες στο '(consumer_id, operation_id)'.
TTL ≥ το μέγιστο επαναλαμβανόμενο παράθυρο (κατακράτηση log + πιθανές καθυστερήσεις).

Αισιόδοξος ανταγωνισμός

Στο μοντέλο εγγραφής αποθηκεύεται η έκδοση της μονάδας.
Κατά την εφαρμογή ενός γεγονότος/εντολής, χρησιμοποιήστε 'WHERE έκδοση =: αναμενόμενο'. Το αντίγραφο δεν θα αυξήσει την έκδοση.

Εντολή/Εντολή

Το EOS δεν είναι "ακριβώς η ίδια σειρά. "Εξασφάλιση συνέπειας μέσω του κλειδιού παρτίδας (όλα τα συγκεντρωτικά συμβάντα → μία παρτίδα) και/ή της σύγκρισης" εξίσωσης ".

Idempotent εξωτερικές κλήσεις

Για ανασφαλείς μεθόδους (για παράδειγμα, HTTP webhooks σε μια υπηρεσία τρίτων), προσθέστε 'Idempotency-Key' και απαιτήστε από τον εταίρο να την υποστηρίξει.

Συχνές παγίδες

EOS σε ένα μόνο μέρος: αν ο νεροχύτης είναι ιδεώδης, αλλά εκπέμπεις δευτερεύοντα γεγονότα χωρίς ιδεατότητα, θα έχεις «ακριβώς πολλές φορές» κατάντη.
Δύο δεσμεύσεις: πρώτα στη βάση δεδομένων, μετά η δέσμευση αντιστάθμισης στον μεσίτη - η πτώση μεταξύ τους δημιουργεί διπλά αποτελέσματα.
Ακατέργαστα CDC εκτός: Η αλλαγή του συστήματος DB διαλύει την ιδιαιτερότητα του καταναλωτή.
Ασταθή κλειδιά: «λειτουργία _ id» εξαρτάται από το χρόνο/τυχαία και τις αλλαγές κατά τη διάρκεια του retray.

Κόστος και συμβιβασμοί

Καθυστέρηση: οι συναλλαγές/μεμονωμένες διαβάζουν → p95/p99 αύξηση.
Εναέρια αποθήκευση: πίνακες αφαίρεσης, κρατικές αποθήκες, αρχεία καταγραφής συναλλαγών.
Λειτουργική πολυπλοκότητα: χρονοδιαγράμματα συναλλαγών, επανισορρόπηση νήματος, κολλημένες συνεδρίες.
Διαγνωστικά: περισσότερες καταστάσεις («in kamit», «ορατό ως» «rolled back»).

Επιλογή σημείου EOS: για κρίσιμα μεγέθη και αποτελέσματα. καλύπτουν τα υπόλοιπα με ευελιξία και αποζημίωση.

Δοκιμή ακριβώς μία φορά

1. Έγχυση βλάβης: η πτώση της διαδικασίας μεταξύ των βαθμίδων «καταγραφή της επίδρασης» και «καταγραφή της αντιστάθμισης».
2. Αντίγραφα: κατεβάστε το ίδιο μήνυμα 2-5 φορές, βεβαιωθείτε για ένα αποτέλεσμα.
3. Επανεκκίνηση και επανεξισορρόπηση: διακοπή/επανεκκίνηση των εργαζομένων, έλεγχος απουσίας διπλής επεξεργασίας.
4. Flappies δικτύου: timeouts μέσης συναλλαγής, retribe retry.
5. Δοκιμές φορτίου: ανάπτυξη αναμονής - εάν δεν υπάρχει υποβάθμιση σε «για πάντα στη συναλλαγή».

Μίνι υποδείγματα (Pseudo)

Idempotent νεροχύτη με στερέωση όφσετ

pseudo begin tx if not exists(select 1 from dedup where consumer_id=:c and op_id=:id)
then apply_effect(...)    -- upsert / merge / add_one_time_action insert into dedup(c, id, applied_at) values(:c,:id, now)
end if update offsets set pos=:pos where consumer_id=:c commit

Εντολή με έκδοση μονάδας

pseudo begin tx update account set balance = balance +:delta,
version = version + 1 where id=:account_id and version=:expected_version;
if row_count=0 then error CONCURRENT_MODIFICATION commit

Ασφάλεια και συμμόρφωση

PII/PCI σε πίνακες απεμπλοκής: αποθηκεύστε ένα ελάχιστο, χρησιμοποιήστε μάρκες αντί για ακατέργαστα δεδομένα.
Έλεγχος: log 'operation _ i ,' trace _ id ', αποτέλεσμα ( .
Πολιτική αποθήκευσης: TTL στους πίνακες αφαίρεσης, αρχειοθέτηση αντισταθμιστικών αποζημιώσεων/κορμοτεμαχίων.

Αντι-μοτίβα

«Πραγματική ακριβώς μία φορά την παράδοση»: απόπειρα εξαίρεσης των αντιγράφων σε επίπεδο πρωτοκόλλου μεταφοράς χωρίς αποτέλεσμα.
Παγκόσμιες κατανεμημένες συναλλαγές για τα πάντα: η XA/2PC μέσω όλων των υπηρεσιών είναι εύθραυστη και αργή.
Μίξη μη ευαίσθητων ανεπιθύμητων ενεργειών (για παράδειγμα, αποστολή ηλεκτρονικού ταχυδρομείου πριν από τη δέσμευση όφσετ).
Έλλειψη κλειδιών λειτουργίας: βασίζεται στη «μοναδικότητα» του ωφέλιμου φορτίου.

Κατάλογος ελέγχου παραγωγής

Κάθε κρίσιμο αποτέλεσμα έχει ένα ιδεώδες κλειδί.

• Η θέση αντιστάθμισης/ανάγνωσης είναι σταθερή σε μία συναλλαγή με αποτέλεσμα.
• Πίνακες απεμπλοκής υπό μορφή δεικτών· Κατακράτηση TTL ≥ log.
• Ο αισιόδοξος ανταγωνισμός (έκδοση/ακολουθία) είναι ενεργοποιημένος για συγκεντρωτικά μεγέθη.
• Τα νήματα/θέματα διαβάζονται σε λειτουργία «Comp Only» (εάν υπάρχουν).
• Στο CI/CD υπάρχουν διπλές δοκιμές και δοκιμές πτώσης.
• Ταμπλό: μερίδιο επαναλήψεων, αποτυχημένες συναλλαγές, χρόνος εμπλοκής, υστέρηση.
• Τεκμηρίωση Integrator για 'Idempotency-Key '/redries/timeouts.

ΣΥΧΝΈΣ ΕΡΩΤΉΣΕΙΣ

Μπορεί να παρασχεθεί EOS χωρίς συναλλαγές

Συχνά ναι - μέσω της ιδεότητας του νεροχύτη (upsert/συγχώνευση) και της έκδοσης των συγκεντρωτικών μεγεθών. Οι συναλλαγές απλουστεύουν τις εγγυήσεις αλλά αυξάνουν το κόστος.

Χρειάζονται όλοι ακριβώς μία φορά

Όχι, δεν είναι. Είναι ακριβό. Εφαρμόστε σημείο όπου η αποζημίωση δεν είναι δυνατή/δαπανηρή.

Πώς να συνδέσετε γράμματα/webhooks με EOS

Απόκρυψη της κοινοποίησης πριν από τη δέσμευση, αποστολή μετά τον καθορισμό του αποτελέσματος· αποθηκεύει «ειδοποίηση _ id» και καθιστά την αποστολή idempotent.

Τι είναι πιο σημαντικό - παράδοση ή επεξεργασία

Επεξεργασία. Οι παραδόσεις μπορούν να επαναληφθούν. η τελική κατάσταση πρέπει να είναι σωστή και η μόνη.

Αποτέλεσμα

Ακριβώς μία φορά αφορά την ορθότητα του αποτελέσματος, και όχι την απουσία αντιγράφων στην καλωδίωση. Επιτυγχάνεται με ένα συνδυασμό της ιδεότητας, ατομική εμμονή της επίδρασης και της ανάγνωσης της προόδου, λογική κατάτμηση και εκδοχή πειθαρχία. Εφαρμογή EOS όπου το κόστος του σφάλματος είναι απαράδεκτο και δοκιμή της πραγματικότητάς του με πτώσεις και δοκιμές - καμία πίστη στις μεταφορές.