Πολλαπλές εξαγωγές και μεγάλες μεταφορτώσεις

1) Πότε χρειάζονται «μεγάλες» εξαγωγές και τι είναι σημαντικό

• Συνέπεια δεδομένων (στιγμιότυπο/χρονική στιγμή).
• Δυνατότητα διέλευσης σε όγκο (παράλληλη γραφή/ανάγνωση, streaming serialization).
• Ανανεώσιμη και μερική παράδοση.
• Ακεραιότητα (έλεγχος) και δυνατότητα επαλήθευσης (δηλωτικό).
• Ασφάλεια/PII (κάλυψη, κρυπτογράφηση, έλεγχος πρόσβασης).
• Διαχείριση κόστους (συμπίεση, timeouts, CDN, TTL).

2) Μορφότυποι δεδομένων: υπέρ/κατά

CSV - συμπαγές, γρήγορο στην εγγραφή/ανάγνωση; κατά: θωράκιση, χαμένοι τύποι. Καλό για τις εκθέσεις πίνακα.
JSON Lines (JSONL) - ανά γραμμή ανά αντικείμενο, βολικό για ροή και μερική δειγματοληψία· κατά: όγκος.
Parquet/Avro - μορφές στήλης/κυκλώματος, συμπίεση και πρόβλεψη ώθησης· ιδανικό για την ανάλυση και τα μαζικά δεδομένα.
Μεικτή: JSONL για λήψη API → offline μετατροπή σε Parquet.

Συμπίεση: 'gzip '/' zstd' (καλύτερα). Για πολύ μεγάλους τόμους - διαχωρισμένα αρχεία (~ 128-512 MB ανά μέρος).

3) Συνέπεια: Πώς να πάρετε ένα «στιγμιότυπο»

DB: ΕΠΑΝΑΛΑΜΒΑΝΟΜΕΝΗ απομόνωση συναλλαγής READ/SNAPSHOT. για νήματα, λογικές σχισμές αναπαραγωγής ή υδατογράφημα (max. 'update _ a /version).
Προμήθεια γεγονότων: εξαγωγή μέσω ημερολογίου όφσετ.
Φέτες: «πλήρης» εξαγωγή + «δέλτα» (μετέπειτα ανεβάσεις αλλαγών μετά το «υδατογράφημα»).

4) Πολύπλευρο τσουνκάρισμα

4. 1 Τύποι «πολλαπλών μερών»

Αποστολή (σε εμάς): πολλαπλά/μορφότυπα-δεδομένα (μικρά αρχεία), S3 Πολλαπλή Αποστολή (MPU )/GCS Επαναλαμβανόμενο (μεγάλο).
Λήψη (από εμάς): HTTP Range ('bytes = start-end'), 'multipart/byteranges' (αρκετές σειρές σε μία απάντηση), 'zip of parts', καταλόγους στη στοίβα αντικειμένων.

4. 2 Στρατηγικές διαχωρισμού

Κατά μέγεθος (π.χ. 256 MB ανά τμήμα).
Κατά κλειδί/ημερομηνία (με την ένδειξη «ενοικιαστής _ id», «ΕΕΕΕ/ΜΜ/ΗΗ»).
Κατά πίνακα/οντότητα (μεμονωμένα αρχεία ανά τύπο).

Ζυγός: Μέρη 64-512 MB τηλεφορτώνουν καλά παράλληλα και δεν υπερθερμαίνουν τη μνήμη.

5) Αρχιτεκτονική API εξαγωγής (ασύγχρονο μοντέλο)

1. «POST/εξαγωγές» → εργασία σε σειρά αναμονής (μεταδεδομένα: μορφή, φίλτρα, κρυπτογράφηση, διάρκεια ζωής).

2. Οι εργαζόμενοι κατασκευάζουν στιγμιότυπα, μεταδίδουν δεδομένα και γράφουν μέρη για την αποθήκευση αντικειμένων.

3. Δημιουργήστε ένα δηλωτικό (JSON) με μια λίστα μερών, μεγεθών, checksum, schema version.

4. Το 'GET/exports/{ id}' επιστρέφει το καθεστώς και τη (τις) σύνδεση (-εις) με τμήματα/προ-υπογεγραμμένα URL.

5. "GET/εξαγωγές/{ id }/δηλωτικό. json '- μηχανή αλήθειας για επαλήθευση/επαναφόρτωση.

json
{
"export_id": "exp_2025_10_31_001",
"created_at": "2025-10-31T14:23:00Z",
"schema": "orders_v3",
"format": "parquet+zstd",
"parts": [
{"name":"part-00000. parquet. zst","size":268435456,"sha256":"...","url":"...","range":"bytes=0-268435455"},
{"name":"part-00001. parquet. zst","size":241172480,"sha256":"...","url":"..."}
],
"total_bytes": 509607936,
"encryption": {"type":"AES-256-GCM","key_id":"kms/keys/exp"},
"watermark": {"type":"updated_at","value":"2025-10-31T00:00:00Z"}
}

6) Επαναληψιμότητα

Εύρος HTTP: ο πελάτης φορτώνει την «ουρά» του αρχείου: 'Range: bytes = 241172480-'.
Πολλαπλές σειρές: 'Range: bytes = 0-999,2000-2999' → 'Content-Type: multipart/byteranges' απόκριση.
Στρατηγική πελατών: παράλληλοι «εργαζόμενοι» σε μέρη, επαλήθευση του 'sha256' του καθενός, retrai με εκθετική backoff.
CDN: Υποστήριξη εύρους, απενεργοποιημένο ρυθμιστικό διάλυμα μεγάλης απόκρισης.

7) Μεγάλες τηλεφορτώσεις σε εμάς (επαναλαμβανόμενη αποστολή)

S3 Πολλαπλή Αποστολή: οι πελάτες τηλεφορτώνουν μέρη (5-5000), ο εξυπηρετητής συλλέγει ' MultipartUpload'.
Το GCS μπορεί να επαναληφθεί - μία συνεδρία, αντισταθμίσεις - ο πελάτης μπορεί να συνεχίσει με το 'εύρος περιεχομένου'.
Το TUS (πρωτόκολλο) είναι μια ανεξάρτητη ανανεώσιμη εφαρμογή στην κορυφή του HTTP.

Μοτίβο B2B: στέλνουμε το προ-υπογεγραμμένο URL για το φορτίο των μερών απευθείας στο κατάστημα, και τα μεταδεδομένα στο API μας.

8) Συμπίεση, κρυπτογράφηση, ακεραιότητα

Προτιμώμενη «zstd» (καλύτερη αναλογία/ταχύτητα). Συμπίεση κάθε μέρους ξεχωριστά (είναι πιο βολικό να ανανεωθεί/κρυφή μνήμη).

• Στο σύρμα: TLS 1. 2+.
• Σε ηρεμία: KMS από την πλευρά του εξυπηρετητή (SSE-KMS) ή από την πλευρά του πελάτη (AES-256-GCM) με περιτύλιγμα κλειδιού.
• Ποτέ μην βάλετε ένα «ωμό» κλειδί σε ένα μανιφέστο.
• Checksum: ελάχιστο SHA-256 ανά τμήμα + κοινό για ολόκληρο το σύνολο. Ελέγξτε τον πελάτη πριν το ack.

9) Περιμετρική ολοκλήρωση: NGINX/CDN

nginx server {
listen 443 ssl http2;
server_name downloads. example. com;

location /exports/ {
proxy_buffering off;
proxy_request_buffering off;
proxy_read_timeout 3600s;
add_header Accept-Ranges bytes;
proxy_pass http://export-backend;
}
}

• "Περιεχόμενο-διάταξη: στερέωση. Όνομα αρχείου = "export _ 2025-10-31 _ part-00000. παρκέ. zs "
• 'ETag '/' If-range' for σωστή φόρτιση.
• Το «Cache-Control» (για παράδειγμα, «private, max-age = 3600») για προσωπικές φορτώσεις.

10) Ασφάλεια και συμμόρφωση

Επαλήθευση ταυτότητας/εξουσιοδότηση: έκδοση εξαγωγών μόνο προς τον ιδιοκτήτη/τον ρόλο· προ-υπογεγραμμένο με σύντομο TTL.
PII: συγκάλυψη/ψευδώνυμο; στο δηλωτικό - μόνο τεχνικά πεδία.
GDPR/τοπικές ρυθμιστικές αρχές: διαγραφή των εξαγωγών από την TTL, έλεγχος των τηλεφορτώσεων, απαγόρευση της διαπεριφερειακής έκδοσης χωρίς λόγο.
Περιοριστικός συντελεστής και ποσοστώσεις: περιορισμός του αριθμού των ταυτόχρονων εξαγωγών και του συνολικού όγκου ανά ημέρα/μήνα (ανά ενοικιαστή).
Φίλτρα CAP/bot για την έκδοση συνδέσμων, περιοριστικές κλίμακες (μέγιστα παράλληλα μέρη).

11) Παρατηρησιμότητα και λειτουργία

• 'export _ jobs _ total {status}' (σειρά αναμονής/εκτέλεση/επιτυχία/αποτυχία/λήξη)
• 'export _ bytes _ total', 'export _ part _ performance _ ms {p50, p95, p99}'
• 'download _ range _ requests _ total', 'resumes _ total', 'checksum _ fail _ total'
• 'storage _ cost _ estimate' и 'exchange _ bytes _ cdn'

• Ποιος δημιούργησε την εξαγωγή, φίλτρα, υδατογράφημα, λίστα λήψης (IP/UA/time).
• Μέρη hashes και συμφωνία από την πλευρά του πελάτη (επιβεβαιώσεις).

• Διαστάσεις: στιγμιότυπο → σειρά → αποστολή μέρους → οριστικοποίηση.

12) Επιδόσεις και κόστος

Παραλληλισμός: Δημιουργία πολλαπλών μερών ταυτόχρονα (N εργαζόμενοι), αλλά περιορισμός I/O.
Μνήμη: streaming serialization (επαναλήψεις, δρομείς βάσεων δεδομένων, κομμάτια 4-16 MB).
Dedup: για συχνά επαναλαμβανόμενες εξαγωγές, έξυπνη κρύπτη μερών με φίλτρα/χασίς.
CDN: ωφέλιμα για «γενικά» δημόσια σύνολα· για προσωπική - προσοχή (ασφάλεια/PII).

13) Παραδείγματα διεπαφών

13. Δημιουργία εξαγωγής (REST)

http
POST /exports
Content-Type: application/json
Authorization: Bearer <token>

{
"format": "parquet+zstd",
"filters": {"date_from":"2025-10-01","date_to":"2025-10-31","tenant":"acme"},
"split_size_mb": 256,
"encryption": {"mode":"server-side-kms","key_id":"kms/keys/exp"}
}

json
{
"id":"exp_2025_10_31_001",
"status":"queued",
"estimated_parts": 12,
"manifest_url": "/exports/exp_2025_10_31_001/manifest. json"
}

13. 2 Τμήμα έκδοσης με εύρος τιμών

http
GET /exports/exp_.../part-00003. parquet. zst
Range: bytes=1048576-

13. Ψευδοκώδικας Vorker 3

pseudo snapshot = db. begin_snapshot()
for shard in plan_shards(snapshot):
part_stream = encode_stream(shard. rows, format="parquet", compress="zstd")
url = object_store. upload_stream(part_stream, part_name, encryption=KMS)
manifest. add(part_name, size, sha256, url)
write_manifest(manifest)

14) Σχήματα εξαγωγών δέλτα

Πλήρης εξαγωγή μία φορά σε N (ημέρα/εβδομάδα) + δέλτα κάθε ώρα από 'update _ at> watermark'.
Από την πλευρά των καταναλωτών, εφαρμόστε τα δέλτα κατά σειρά, επαληθεύοντας την «έκδοση »/« επόμενες».
Κρατήστε το τελευταίο υδατογράφημα στον καταναλωτή και στο δηλωτικό.

15) Αντι-μοτίβα

Παραγωγή εξαγωγών κατόπιν αιτήματος (συγχρονισμένη) - χρονικά περιθώρια και OOM.
Ένα γιγαντιαίο αρχείο χωρίς διαχωρισμό είναι η αδυναμία επανάληψης/παράλληλης λήψης.
Έλλειψη ελέγχου και έκδηλου - δεν μπορείτε να αποδείξετε την ακεραιότητα.
Έκδοση μόνιμων δημόσιων δεσμών με δεδομένα προσωπικού χαρακτήρα.
Ρυθμιστικό SSE/CDN ή περιοχή με αναπηρία - σπάει η «επαναφόρτωση».
Εξαγωγή βρώμικων δεδομένων (χωρίς στιγμιότυπο/απομόνωση).

16) Κατάλογος ελέγχου εφαρμογής

• Μορφή και συμπίεση: CSV/JSONL/Parquet + 'zstd/gzip'.
• Συνέπεια: στιγμιότυπο συναλλαγής ή υδατογράφημα/όφσετ.
• Κατάτμηση: 64-512 MB ανταλλακτικά, παράλληλη παραγωγή και τηλεφόρτωση.
• Δηλωτικό: κατάλογος μερών, διαστάσεις, SHA-256, έκδοση σχήματος, υδατογράφημα.
• Ανανέωση: HTTP Range, 'multipart/byteranges' support, client retrays.
• Ασφάλεια: Προυπογεγραμμένα URL, TTL, κρυπτογράφηση (KMS/AEAD), κάλυψη PII.
• Όρια/ποσοστώσεις: ανά ενοικιαστή, ημερήσιες ποσότητες, αριθμός ενεργών θέσεων εργασίας.
• Παρατηρησιμότητα: μετρήσεις θέσεων εργασίας/μερών, έλεγχοι τηλεφόρτωσης, ειδοποιήσεις για αποτυχία ελέγχου.
• Κόστος: CDN για δημόσια σύνολα, TTL και αυτόματο καθαρισμό στο κατάστημα.
• Runbooks/Game Days: διαλείμματα δικτύου, μη διαθεσιμότητα αποθήκευσης, υπερθέρμανση βάσεων δεδομένων, βλάβη KMS.

17) Ημέρες παιχνιδιού (βιβλία παιχνιδιού)

Πτώση δικτύου κατά την τηλεφόρτωση: Ο πελάτης πρέπει να συνεχίσει με το 'Range'.
Ένα μέρος απέτυχε να φορτώσει: μερική επανακατεργασία χωρίς αναδημιουργία ολόκληρης της εξαγωγής.
Πτώση των εργαζομένων: Η δουλειά συνεχίζεται με το τελευταίο ανεπιβεβαίωτο κομμάτι.
Το KMS δεν είναι διαθέσιμο: ασφαλής υποβάθμιση (παύση παραγωγής, μη κρυπτογραφημένη απελευθέρωση).
Ανάπτυξη δεδομένων × 2: έλεγχος του χρόνου παραγωγής, ανακατανομή του παραλληλισμού, μη σκοτώνετε τη βάση δεδομένων.

18) Σύνολα

Αξιόπιστα μεγάλα offloads είναι ασύγχρονη αρχιτεκτονική + κατάτμηση + ανανέωση + επαληθεύσιμη ακεραιότητα. Πάρτε ένα στιγμιότυπο, γράψτε μέρη παράλληλα, δημοσιεύετε ένα δηλωτικό με checksum, υποστήριξη HTTP Range και βραχύβιους συνδέσμους. Σκεφτείτε την ασφάλεια, τα όρια και την παρατηρησιμότητα - και οι εξαγωγές γιγαμπάιτ θα πάψουν να αποτελούν εφιάλτη για τις ομάδες και τους χρήστες.