Συγχώνευση δεδομένων από διαφορετικά κυκλώματα

(Τμήμα: Οικοσύστημα και Δίκτυο)

1) Γιατί χρειάζεστε συγχώνευση

• Μια μοναδική πηγή αλήθειας (κανονικά γεγονότα) παρουσία αρχείων καταγραφής motley.
• Αντίσταση στον επαναπροσανατολισμό και τις καθυστερήσεις: σωστή οριστικοποίηση και επανυπολογισμός.
• Συγκρισιμότητα των μετρήσεων μεταξύ δικτύων και περιουσιακών στοιχείων.
• Διαφανής έλεγχος γενεαλογίας και ποιότητας για τους ελέγχους και τις ρυθμιστικές αρχές.

2) Πηγές και κλάσεις δεδομένων

1. Onchain: μπλοκ, συναλλαγές, αρχεία καταγραφής συμβάσεων, κεφαλίδες, κράτη.
2. Γέφυρες/ρυμουλκούμενα: αιτήσεις, αποδείξεις, αποδεικτικά στοιχεία, καταστάσεις οριστικοποίησης.
3. στρώματα: παρτίδες, εκδόσεις, αποδείξεις, παράθυρα πρόκλησης.
4. PSP/KYC/KYB/AML: καταστάσεις πληρωμών, έλεγχοι, επιτυχίες κυρώσεων.
5. Εκδηλώσεις προϊόντων: επί του σκάφους, καταθέσεις/πληρωμές, τυχερά παιχνίδια και συμπεριφορικά γεγονότα.
6. Κατάλογοι: δίκτυα, περιουσιακά στοιχεία, δεκαδικά ψηφία, functionId, διευθύνσεις, εκδόσεις SDK.

Για κάθε πηγή, καταγράφονται ο ιδιοκτήτης, το σχήμα, το ημερολόγιο επικαιροποίησης, το παράθυρο οριστικοποίησης, το μορφότυπο αποδεικτικών στοιχείων και το SLO.

3) Αρχιτεκτονική αγωγών σύντηξης

Εισροές (πράκτορες/δείκτες/webhook) → ακατέργαστες/χάλκινες (αμετάβλητες πρώτες ύλες) → καθαρές/ασημένιες (ομαλοποίηση και αφαίρεση) → συγχώνευση/πυρήνας/χρυσός (κανονικά γεγονότα και συνδέσεις) → Marts (χρηματοδότηση/προϊόν/κίνδυνος/λειτουργικό σύστημα) → Εξυπηρετούν (OLAP/API/αναζήτηση).
Βασικές ιδιότητες: idempotency, schema versioning, replay/backfill, καθυστερημένος χειρισμός δεδομένων.

4) Κανονικά συστήματα (απλουστευμένα)

4. 1 Συμβάματα (YAML)

yaml event:
id: uuid observed_at: timestamp # when saw event_at: timestamp # when happened (by source)
chain_id: string       # 'eth-mainnet'    'polygon'...
block_height: long tx_hash: string log_index: int type: string         # transfer    bridge. lock    bridge. mint...
status: string        # observed    confirmed    finalized    invalid src: string # address/peer-id/org _ id dst: string asset: string # canonical character (USDC)
amount: decimal usd_value: decimal # normalization at the rate on the meta observed_at: object # gas, fee, contract, sdk_version...
idempotency_key: string    # chainId    block    tx    logIndex    type proof_ref: string # proof/anchor reference

4. 2 Μεταφράσεις και γέφυρες (SQL)

sql
CREATE TABLE bridge_transfers (
id TEXT PRIMARY KEY,
src_chain TEXT, dst_chain TEXT,
asset TEXT, amount NUMERIC,
created_at TIMESTAMPTZ,
finalized_at TIMESTAMPTZ,
status TEXT,          -- requested    inflight    finalized    failed    reversed src_tx TEXT, dst_tx TEXT,
proof_ref TEXT, meta JSONB
);

4. 3 Κατάλογος περιουσιακών στοιχείων/δικτύων (YAML)

yaml catalog:
assets:
- symbol: USDC decimals: { eth-mainnet: 6, polygon: 6 }
contracts: { eth-mainnet: "0xA0b8...", polygon: "0x2791..." }
networks:
- id: eth-mainnet k_confirmations: 12
- id: polygon k_confirmations: 256

5) Οριστικοποίηση, επανορθώσεις και καταστάσεις

: 'παρατηρήθηκε επιβεβαιώθηκε (K) οριστικοποιήθηκε ακυρώθηκε (reorg)' (+ 'αμφισβητήθηκε' αισιόδοξος).

• K-επιβεβαιώσεις ανά δίκτυο/περιουσιακό στοιχείο/κίνδυνο.
• Καθυστερημένη οριστικοποίηση για μεγάλα ποσά.
• Χειρισμός Reorg: αυτόματη αναπηρία και αναπαραγωγή.
• Αποδεικτική κάλυψη: ποσοστό εγγραφών με ράβδους/άγκυρες ≥ στόχο SLO.

6) Εξομάλυνση του χρόνου και των νομισμάτων

Χρόνος: όλα τα χρονοσφραγίσματα σε UTC, αποθήκευση 'παρατηρηθείσα _ στο' και 'event _ at'.
FX/τιμές περιουσιακών στοιχείων: μετατροπή της τιμής «usd _ value» με την ισοτιμία «observed _ a (ή» event _ a - για την υποβολή εκθέσεων, που ορίζεται από την πολιτική).
Δεκαδικά ψηφία/κλίμακα: Αυστηρή αγιοποίηση των ποσοτήτων για συγκρισιμότητα.
Ζώνες ώρας στις αναφορές: επιλύθηκαν κατά τη διάρκεια της επιλογής (showcase), όχι στον πυρήνα.

7) Ταυτότητα και αφαίρεση

• 'idempotency _ key = impactI block _ high' tx _ hash 'log _ index' type '

• Αντίγραφα πολλαπλών δεικτών - upsert by idempotency_key.
• Σε περίπτωση σύγκρουσης φορτίου, ενεργοποιείται η πολιτική της αλήθειας (προτεραιότητα πηγής/έκδοση/χρόνος).
• Το παράθυρο αφαίρεσης αποθηκεύεται ≥ 48-72 ωρών για «περιπλανώμενες» επαναλήψεις.

8) Εξυγίανση οντότητας

Διευθύνσεις → παράγοντες: πορτοφόλι/σύμβαση → χρήστης/οργάνωση/ρόλος.
Cross-chain links: hard-link (υπογραφή/kyc), soft-link (συμπεριφορά/γράφημα).
Ψευδωνυμοποίηση: σταθερή PID/ORG_ID. Το PII αποθηκεύεται από τον υπεύθυνο επεξεργασίας δεδομένων.

9) Κανόνες και προτεραιότητες για τις συγκεντρώσεις (Πολιτική)

1. Η πηγή της αλήθειας για το γεγονός της μετάφρασης είναι το online γεγονός «οριστικοποιημένο» + απόδειξη.
2. Η πηγή της αλήθειας για τα συγκεντρωτικά στοιχεία είναι ο πυρήνας της γέφυρας _ μεταβιβάσεων, όχι η «πρώτη ύλη».
3. Χρονική σύγκρουση (event_at έναντι observed_at) - ανά πολιτική αναφοράς (χρηματοδότηση - event_at· λειτουργικό σύστημα - observed_at).
4. Ποσό/Σύγκρουση περιουσιακών στοιχείων - Διακοπή της αναμονής και της απομόνωσης έως ότου συμφωνηθεί ο κατάλογος περιουσιακών στοιχείων.
5. Δέσμες γεφυρών - απαιτούνται και οι δύο πλευρικές αποδείξεις (src/dst) + ζεύγος παραλαβών.

10) Ψευδοαποθέσεις και αλγόριθμοι

10. 1 Κύλιση συμβάντων σε κανονική «λειτουργία»

sql
WITH base AS (
SELECT e.,
CONCAT(e. chain_id,'    ',e. block_height,'    ',e. tx_hash,'    ',e. log_index,'    ',e. type) AS idem
FROM raw_events e
)
INSERT INTO core_events AS c (id, observed_at, event_at, chain_id, block_height,
tx_hash, log_index, type, status, src, dst, asset, amount, usd_value, meta, idempotency_key, proof_ref)
SELECT gen_random_uuid(), observed_at, event_at, chain_id, block_height,
tx_hash, log_index, type, status, src, dst, asset, amount, usd_value, meta, idem, proof_ref
FROM base
ON CONFLICT (idempotency_key) DO UPDATE
SET status = EXCLUDED. status,
usd_value = COALESCE(EXCLUDED. usd_value, core_events. usd_value),
proof_ref = COALESCE(EXCLUDED. proof_ref, core_events. proof_ref),
meta   = core_events. meta          EXCLUDED. meta;

10. 2 Ζεύγη γεφυρών (istochnik↔tsel)

sql
INSERT INTO bridge_transfers (id, src_chain, dst_chain, asset, amount, created_at, status, src_tx, proof_ref)
SELECT
CONCAT('br:', e. tx_hash) AS id,
e. chain_id, b. dst_chain, e. asset, e. amount, e. event_at, 'inflight', e. tx_hash, e. proof_ref
FROM core_events e
JOIN bridge_book b ON e. type='bridge. lock' AND e. asset=b. asset AND e. chain_id=b. src_chain
ON CONFLICT (id) DO NOTHING;

UPDATE bridge_transfers bt
SET finalized_at = e. event_at,
dst_tx    = e. tx_hash,
status    = 'finalized'
FROM core_events e
WHERE e. type='bridge. mint'
AND bt. status='inflight'
AND bt. asset=e. asset
AND bt. src_chain=bridge_book. src_chain
AND bt. dst_chain=bridge_book. dst_chain
AND abs(e. amount - bt. amount) < 1e-9;

10. 3 Επεξεργασία Reorg

sql
UPDATE core_events
SET status='invalidated'
WHERE chain_id=$1 AND block_height BETWEEN $2 AND $3
AND status IN ('observed','confirmed','finalized');

-- Reassembly of aggregates (example)
CALL recompute_materialized_views($1, $2, $3);

11) Διαχείριση κυκλωμάτων και εξελίξεων

Έκδοση: 'schema _ version' στην κεφαλίδα του συνόλου δεδομένων, οι μεταναστεύσεις καταγράφονται.
Η πολιτική συμβατότητας είναι «BACKWARD» για τα γεγονότα (προσθήκη πεδίων μόνο).
Συμβάσεις δεδομένων με πηγές: δοκιμές συμβάσεων σε ΚΚΠ, τακτικές γραμμές συστημάτων.

12) Ποιότητα δεδομένων: SLI/SLO

• Φρεσκάδα p95: lag ingest→Gold (min).
• Ολοκλήρωση% είναι το ποσοστό των εγγραφών που έχουν φτάσει στο 'οριστικοποιημένο' εντός του παραθύρου.
• Διόρθωση%: έγκυρα συστήματα/υπογραφές/αποδείξεις.
• Proof Coverage%: μερίδιο κανονικών αρχείων με απόδειξη/άγκυρες.
• Dedup Efficiency: Αναλογία απορροφήσεων που απορροφώνται άψογα.
• Reorg Handling Success%: σωστά απενεργοποιημένη και αναπαραγωγή.

SLO (ορόσημα): φρεσκάδα ≤ 3 λεπτά (ρεύμα )/15 λεπτά (παρτίδα)· Πληρότητα ≥ 99. 7%; Ορθότητα ≥ 99. 9%; Proof Coverage ≥ 99. 0%; Επιτυχία Reorg ≥ 99. 9%; Συγχώνευση MTTR (περιστατικό) ≤ 30 λεπτά.

13) Ταμπλό (διατάξεις)

Merge Ops (реал - тайм/час): Freshness, Queue lag, Dedup rate, Finalized%, Reorg spikes, Error-budget burn.
Απόδειξη & τελειότητας: απόδειξη κάλυψης, p95 οριστικότητα ανά αλυσίδα, πρόκληση/reorg события.
Κατάλογος Υγείας: διαφορές μεταξύ χαρτογραφήσεων περιουσιακών στοιχείων, δεκαδικών ψηφίων, εκδόσεων SDK.
Ποιότητα & παρασυρόμενα: πληρότητα/ορθότητα, παρασυρόμενα σχήματα, καθυστερημένα δεδομένα.
Finance Lens: GTV, Net Flow, TVL ανά κύκλωμα/γέφυρα («οριστικοποιημένο» μόνο).

14) Ρυθμίσεις (YAML)

Παράθυρα οριστικοποίησης

yaml finality:
eth-mainnet: { k: 12, delayed_for_usd_gt: 100000 }
polygon:   { k: 256 }
optimistic-L2:
k: 0 challenge_minutes: 20 delayed_for_usd_gt: 50000

Συγχώνευση και πολιτική προτεραιότητας

yaml merge_policy:
source_priority: [onchain, bridge, psp, product]
conflict:
time: { prefer: "event_at" }
amount: { action: "quarantine" }
proof_required_for: ["bridge_transfers", "payouts"]
quarantine_topics: ["asset_mismatch", "decimals_mismatch", "time_skew_gt_5m"]

Idempotence/dedup

yaml dedup:
key_template: "${chain_id}    ${block_height}    ${tx_hash}    ${log_index}    ${type}"
ttl_hours: 72

15) Προστασία της ιδιωτικής ζωής και συμμόρφωση

ελαχιστοποίηση PII: PID/ORG_ID, απαγόρευση PII στις μετρήσεις/ετικέτες.
Κατοικία δεδομένων: διαχωρισμός περιφέρειας (EU/ROW), κρυπτογράφηση «σε ηρεμία/σε οδό».
Δικαίωμα διαγραφής: συμβάντα ταφόπλακας/ανακατασκευής με αποδεδειγμένη εφαρμογή.
Έλεγχος: αμετάβλητα αρχεία καταγραφής, αγκυροβόληση χασίς, έλεγχος πρόσβασης ρόλων.

16) Κανονισμοί λειτουργίας

Ημερήσια: αποδεικτική αντιπαραβολή κάλυψης, οριστικοποίηση αλυσίδας, μητρώο γεφυρών και μετατόπιση ρύθμισης.
Εβδομαδιαία: αναθεώρηση του καταλόγου περιουσιακών στοιχείων/δεκαδικά ψηφία, ορθότητα της κανονικοποίησης FX.
Μηνιαία: δοκιμές επαναπροώθησης/επανάληψης, έλεγχος SLO και προσομοίωση ακραίων καταστάσεων απόδοσης.
Διαχείριση αλλαγών: χρονοδιάγραμμα συγχώνευσης αλλαγών πολιτικής, καταγραφή αποφάσεων.

17) Περιστατικά του βιβλίου παιχνιδιών

A. περιουσιακά στοιχεία/δεκαδικά ψηφία Desynchron

Σταματήστε στα αντίστοιχα περιουσιακά στοιχεία, αναποδογυρίστε τον κατάλογο, επανυπολογίστε τα παράθυρα, αναφέρετε ≤ 24 ώρες.

B. Η πτώση της αποδεικτικής κάλυψης

Επανεκκίνηση Mercization/Αγκύρωση, Log Up, χειροκίνητη δειγματοληψία 100 περιπτώσεων, έκθεση.

C. Reorg/Challenge Peaks

Διεύρυνση 'k '/παράθυρο διαφορών, δυνατότητα καθυστερημένης οριστικοποίησης για μεγάλα ποσά, ενημέρωση των ενδιαφερομένων μερών.

D. Έκρηξη λήψης/επαναλήψεων

Σφίξτε το TTL dedup/κλειδί, περιορίστε τις «θορυβώδεις» πηγές, ενεργοποιήστε το κύκλωμα καραντίνας.

E. time skew

Συγχρονισμός NTP/PTP, επανυπολογισμός παραθύρων, προσωρινός 'prefer: αλλαγή πολιτικής.

18) Κατάλογος ελέγχου εφαρμογής

1. Λήψη πηγών, παραθύρων οριστικοποίησης και αποδεικτικών στοιχείων.
2. Εφαρμογή κανονικού σχήματος γεγονότων και πλήκτρου idempotency.
3. Διαμόρφωση dedup και συγχώνευση πολιτικής με περίγραμμα καραντίνας.
4. Αύξηση μητρώου περιουσιακών στοιχείων/δικτύου και κανονικοποίηση FX.
5. Εφαρμογή επανάληψης/επαναπλήρωσης και καθυστερημένης επεξεργασίας δεδομένων.
6. Ορισμός πινακίδων SLI/SLO και ποιότητας.
7. Εκτέλεση τακτικών αρχείων αγκυροβόλησης και ελέγχου.
8. Διεξαγωγή χειριστή με προσομοιώσεις καθυστέρησης επαναπροσανατολισμού/γέφυρας και σύλληψη του MTTR.

19) Γλωσσάριο

Οριστικότητα - μη αναστρεψιμότητα του κράτους/γεγονότος.
Reorg - επανασυναρμολόγηση της αλυσίδας με ακύρωση μέρους των τεμαχίων.
Idempotency - αντοχή στην αναπαραγωγιμότητα.
Αποδεικτική κάλυψη - το ποσοστό των αρχείων με έγκυρα αποδεικτικά στοιχεία.
Εξυγίανση οντότητας - ενιαία διεύθυνση οντότητας/χαρτογράφηση λογαριασμού.
Καθυστερημένη οριστικοποίηση - αναβολή αποδοχής σε συγκεντρωτικά μεγέθη για ποσά υψηλού κινδύνου.
Η καραντίνα είναι ένα μεμονωμένο ρεύμα συγκρούσεων/ύποπτων αρχείων.

Τέλος: η σωστή συγχώνευση των δεδομένων μεταξύ των αλυσίδων είναι μια διαχειρίσιμη πειθαρχία: κανονικό σχήμα, οριστικοποίηση και απόδειξη, αυστηρή ιδεολογία, διαφανής πολιτική συγχώνευσης, και παρατηρήσιμη ποιότητα. Ακολουθώντας αυτό το πλαίσιο, το οικοσύστημα λαμβάνει ένα ενιαίο, επαληθεύσιμο και βιώσιμο επίπεδο δεδομένων - τη βάση για τον έλεγχο, την ανάλυση και την ασφαλή κλιμάκωση των προϊόντων.