Πολιτικές διατήρησης και διατήρησης

1) Αρχές

1. Σκοπός & ελαχιστοποίηση. Αποθηκεύουμε ακριβώς αυτό και ακριβώς όσο χρειαζόμαστε για σκοπούς επεξεργασίας.
2. Πολιτική ως κώδικας. Η διατήρηση είναι μια εκτελέσιμη πολιτική, όχι ένα PDF.
3. Άμυνα σε βάθος. TTL/ILM + κρυπτογράφηση + λογιστικοί έλεγχοι + νομικός περιορισμός.
4. Αναστρεψιμότητα & απόδειξη. Η διαγραφή είναι επαληθεύσιμη: κούτσουρα δράσης, τεμαχισμός κρυπτογράφησης, αναφορά συμμόρφωσης.
5. Ενημέρωση κόστους & άνθρακα. Η κατακράτηση λαμβάνει υπόψη $/GB-μήνα και το αποτύπωμα άνθρακα της αποθήκευσης/εξόδου.

2) Ταξινόμηση δεδομένων και «Χάρτης Retenschen»

• Λειτουργική (OLTP): παραγγελίες, πληρωμές, συνεδριάσεις.
• Αναλυτική (DWH/ημερομηνίες): γεγονότα, στοιχεία καταγραφής, φέτες.
• Προσωπικό (PII/finance/health): απαιτούνται ειδικοί όροι και δικαιώματα των υποκειμένων.
• Τεχνικά: αρχεία καταγραφής, μετρήσεις, μονοπάτια, τεχνουργήματα CI.
• Έγγραφα/μέσα: WORM/αρχείο/legasi.

Για κάθε κατηγορία, ορισμός: ιδιοκτήτης, σκοπός, νομικό πλαίσιο, ημερομηνίες, επίπεδο προστασίας, τρέχουσα και στοχευόμενη αποθήκευση.

3) Κύκλος ζωής δεδομένων ILM

1. Κατανάλωση (εν θερμώ) → NVMe/SSD, υψηλό ποσοστό ζήτησης.

2. Θερμή → λιγότερο συχνά διαβάζεται, συμπίεση, μορφές στήλης.

3. Κρύο/Αρχείο → αντικείμενο/ταινία, μεγάλη πρόσβαση.

4. Καθαρισμός/Διαγραφή → εγγυημένης διαγραφής (συμπεριλαμβανομένων αντιγράφων/αντιγράφων ασφαλείας).

yaml dataset: events_main owner: analytics purpose: "product analytics"
classification: "pseudonymized"
lifecycle:
- phase: hot; duration: 7d; storage: nvme; format: row
- phase: warm; duration: 90d; storage: ssd; format: parquet; compress: zstd
- phase: cold; duration: 365d; storage: object; glacier: true
- phase: purge; duration: 0d privacy:
pii: false dp_delete_window: 30d # SLA on personal deletions if ligaments appear

4) Πολιτικές ως κώδικας (χρήσιμα σκίτσα)

4. 1 Πολιτική εισδοχής (απαιτούμενες ετικέτες/TTL)

yaml policy: require-retention-tags deny_if_missing: [owner, purpose, classification, retention]
default_retention:
logs:  "30d"
traces: "7d"
metrics:"90d"

4. 2 Πύλη σε CI/CD (Rego) - απαγόρευση της ανάπτυξης χωρίς οπισθοδρόμηση

rego package policy. retention deny[msg] {
some d input. datasets[d].retention == ""
msg:= sprintf("Retention missing for dataset %s", [d])
}

4. 3 S3/object (θραύσμα κύκλου ζωής)

yaml
Rules:
- ID: logs-ttl
Filter: { Prefix: "logs/" }
Transitions:
- { Days: 7, StorageClass: STANDARD_IA }
- { Days: 30, StorageClass: GLACIER }
Expiration: { Days: 180 }
NoncurrentVersionExpiration: { NoncurrentDays: 30 }

5) Διατήρηση σε νήματα και ουρές αναμονής

• "επανένταξη. κατακράτηση ms/'. bytes '- κατακράτηση παραθύρου.
• Συμπίεση ("καθαρισμός. πολιτική = συμπαγής ') - αποθήκευση της τελευταίας βασικής τιμής.
• Κλιμακωτή αποθήκευση - παίρνουμε την «ουρά» σε μια παγωμένη γκαλερί σκοποβολής.
• Η DLQ είναι ξεχωριστή κατακράτηση και η TTL.

properties cleanup. policy=delete,compact retention. ms = 604800000 # 7d for tail removal
min. cleanable. dirty. ratio=0. 5 segment. ms=86400000

• Ορισμός του βασικού θέματος διατήρησης ≈ το επιχειρηματικό παράθυρο επαναπροσδιορισμού/επανυπολογισμού.
• Για εκδηλώσεις τιμολόγησης/ελέγχου, ξεχωριστή μακρά παραμονή ή WORM.

6) Βάσεις δεδομένων και διατήρηση

• Διαχωρισμός ανά ημερομηνία/εύρος, αποσύνθεση και πτώση παλαιών κομμάτων.
• Πεδία ημερομηνίας - δείκτες αιτήσεων TTL.
• Χρονικοί πίνακες (system-versioned) + πολιτικές εκκαθάρισης παλαιότερων εκδόσεων.

sql
-- Monthly instalments
CREATE TABLE audit_events (id bigserial, occurred_at timestamptz, payload jsonb) PARTITION BY RANGE (occurred_at);
-- Cleaning over 365 days
DELETE FROM audit_events WHERE occurred_at < now() - interval '365 days';
VACUUM (FULL, ANALYZE) audit_events;

• TTL σε επίπεδο κλειδί (δείκτης MongoDB TTL, Redis 'EXPIRE', Cassandra TTL).
• Μείωση της δειγματοληψίας για μετρήσεις (ακατέργαστα 7d → συγκεντρωτικά στοιχεία 90d → μήκος 365d).
• Πολιτικές διατήρησης στην TSDB (Επιρροή/ClickHouse Υλοποιημένες Απόψεις με αφαίρεση/συγκέντρωση).

7) Αρχεία καταγραφής, μετρήσεις, μονοπάτια

Logs: οριακά πεδία, μάσκα PD, TTL 7-30d, αρχείο 90-180d.
Μετρήσεις: ακατέργαστη υψηλή συχνότητα - 7-14d. downsample (5m/1h) - 90- 365д.
Μονοπάτια: δειγματοληψία ουράς και διατήρηση «ενδιαφέροντος» (σφάλματα/ουρές) περισσότερο.

yaml observability:
logs:  { ttl: "30d", archive: "90d", pii_mask: true }
metrics: { raw: "14d", rollup_5m: "90d", rollup_1h: "365d" }
traces: { sample: "tail-10%", ttl: "7d", error_ttl: "30d" }

8) Αφαίρεση: τύποι και εγγυήσεις

Λογική (απαλή διαγραφή): σήμανση εγγραφής. κατάλληλο για ανάκτηση, δεν ταιριάζει με το «δικαίωμα διαγραφής».
Φυσική (σκληρή διαγραφή) - η πραγματική διαγραφή δεδομένων/εκδόσεων/αντιγράφων.
Κρυπτογραφική (κρυπτογράφηση): διαγραφή/αντικατάσταση κλειδιών κρυπτογράφησης, μετά την οποία τα δεδομένα δεν αποκαθίστανται.
Καταρράκτης: διαγραφή παραγώγων από το τέλος έως το τέλος (κρύπτες, δείκτες, αναλύσεις).

request → locate subject data (index by subject_id) → revoke tokens & unsubscribe jobs → delete in OLTP → purge caches → enqueue erasure in DWH/lakes → crypto-shred keys (per-tenant/per-dataset) → emit audit proof (receipt)

9) Δικαίωμα αφαίρεσης, νομικής κράτησης και ηλεκτρονικής ανακάλυψης

Δικαίωμα διαγραφής/διόρθωσης: SLA εκτέλεσης (για παράδειγμα, ≤30 ημέρες), ανιχνεύσιμες ενέργειες, αποδείξεις.
Νομική κατοχή: κατόπιν νομικού αιτήματος - δέσμευση διαγραφής για συγκεκριμένα σύνολα/κλειδιά· πολιτική προτεραιότητας έναντι της TTL.
eDiscovery: κατάλογος δεδομένων, αναζήτηση τεχνουργήματος πλήρους κειμένου/χαρακτηριστικού, εξαγωγή σε συνεκτικές μορφές.

yaml legal_hold:
dataset: payments scope: ["txn_id:123", "user:42"]
from: "2025-10-31"
until: "2026-03-31"
reason: "regulatory investigation"

10) Αντίγραφα ασφαλείας έναντι αρχείων έναντι WORM

Εφεδρείες - για την ανάκτηση από απώλεια/ζημία. σύντομη αναστολή, γρήγορη RTO.
Αρχεία - μακροπρόθεσμη διατήρηση για έλεγχο/ανάλυση, φθηνή, μακρά πρόσβαση.
WORM - αμετάβλητα μέσα συμμόρφωσης (χρηματοδότηση/υποβολή εκθέσεων)· Πολιτικές «write-once, read-many».

• Μην υπολογίζετε το εφεδρικό ως «αρχείο για αιώνες».
• Πρόβες αποκατάστασης (ημέρες DR), έκθεση χρόνου και πληρότητας.
• Κατάλογος αντιγράφων ασφαλείας με διατήρηση, κρυπτογράφηση και κλειδιά χωριστά από την αποθήκευση.

11) Προστασία της ιδιωτικής ζωής και ανωνυμία

Ψευδωνυμία: Η καθυστερημένη δέσμευση του PII μέσω του πίνακα κλειδιών (επιτρέπει την κρυπτογράφηση ανά κλειδί).
Ανωνυμοποίηση: μη αναστρέψιμες τεχνικές (k-ανωνυμία, θόρυβος, γενίκευση). Μέθοδος εγγράφου, κίνδυνος επαναπροσδιορισμού και ημερομηνία λήξης.

12) Παρακολούθηση της συμμόρφωσης και υποβολή εκθέσεων

Πίνακες ελέγχου: αναλογία συνόλων δεδομένων με έγκυρη διατήρηση, όγκοι ανά φάσεις ILM, σφάλματα διαγραφής.
Καταχωρίσεις: υπέρβαση του όγκου στόχου στην καυτή παύλα, «κρεμασμένες» διαγραφές που λήγουν από τη νόμιμη λαβή.
Εκθέσεις: μηνιαίος έλεγχος διαγραφής (αριθμός αιτήσεων, μέσος όρος, αστοχίες), εκτύπωση κρυπτογράφησης.

13) Ενσωμάτωση στις διαδικασίες: πύλες και αναθεωρήσεις

Πύλη σχεδιασμού: Το νέο σύνολο δεδομένων δεν επανεξετάζεται χωρίς «ιδιοκτήτη/σκοπό/διατήρηση».
Πύλη απελευθέρωσης: οι μεταναστεύσεις που αυξάνουν την κατακράτηση χωρίς ιδιοκτήτη/αιτιολόγηση μπλοκάρονται.
Πύλη κόστους: ο όγκος σε θερμή/θερμή κατάσταση υπερβαίνει τον προϋπολογισμό - ενεργοποίηση για σύσφιξη της ILM.
Πύλη ασφαλείας: απαγόρευση της καταχώρισης της PD σε κορμούς/μονοπάτια χωρίς μεταμφίεση και TTL.

14) Αντι-μοτίβα

«Τα κρατάμε όλα για πάντα - ξαφνικά θα είναι χρήσιμα».
Κωδικοποιημένα TTL σε εφαρμογές που δεν αποδίδονται σε πολιτικές.
PD σε κορμούς και ίχνη χωρίς κάλυψη/TTL/διαγραφή.
Ελλιπής διαγραφή (αριστερά σε μνήμη/DWH/αντίγραφα ασφαλείας).
Έλλειψη νομικής συγκράτησης - διαγραφή δεδομένων υπό έρευνα.
Ένα κοινό κλειδί κρυπτογράφησης για τα πάντα - είναι αδύνατο να δείξουμε «κρυπτογράφηση-διαγραφή».
Μηδενική παρατηρησιμότητα: «πιστεύουμε ότι αφαιρέσαμε», αλλά δεν υπάρχουν στοιχεία.

15) Κατάλογος ελέγχου αρχιτεκτόνων

1. Για κάθε σύνολο δεδομένων υπάρχει ιδιοκτήτης, σκοπός, ταξινόμηση, διατήρηση, βαθμίδα αποθήκευσης

2. Οι πολιτικές ILM/TTL δηλώνονται ως κωδικοί και εφαρμόζονται αυτόματα

3. Τα PD καλύπτονται σε αρχεία καταγραφής/κομμάτια. απαγορευμένα εκτός «λευκών» σετ

4. Υπάρχουν προσωπικές διαδικασίες διαγραφής (SLA, έλεγχος, έσοδα)

5. Δυνατότητα διαγραφής κρυπτογράφησης (ανά ενοικιαστή/ανά κλειδί συνόλου δεδομένων, KMS/περιστροφή)

6. Αντίγραφα ασφαλείας: πρόγραμμα, κρυπτογράφηση, δοκιμές ανάκτησης, μεμονωμένα κλειδιά

7. Νομικό κράτημα/eDiscovery: Υποστηρίζεται, υπερισχύει του TTL, διατηρούνται αρχεία καταγραφής δραστηριοτήτων

8. Kafka/ουρές αναμονής: καθορισμένη κατακράτηση/συμπίεση/βαθμίδα, DLQ έχει ξεχωριστές πολιτικές

9. Οι μετρήσεις και οι ειδοποιήσεις για τη συμμόρφωση με το Retenschen και οι τόμοι σε γκαλερί σκοποβολής είναι διαμορφωμένες

10. Υπάρχουν κριτικές και πύλες σε αντικείμενα που μπλοκάρουν την SDLC χωρίς το Retenschen

16) Μίνι συνταγές

16. 1 ClickHouse: «Κόψτε την ουρά» πάνω από 180 ημέρες

sql
ALTER TABLE events DELETE WHERE event_date < today() - 180;
OPTIMIZE TABLE events FINAL;

16. 2 Redis: TTL и τεμπέλης-εκκαθάρισης

bash
SET session:123 value EX 3600
CONFIG SET maxmemory-policy allkeys-lru

16. 3 Δειγματοληψία ουράς για ίχνη

yaml tail_sampling:
policies:
- name: keep-errors-and-slow latency_threshold_ms: 500 status_codes: ["5xx"]
rate_limit_per_min: 5000 default_ttl: "7d"

16. 4 Διαγραφή κρυπτογράφησης (ιδέα)

keys:
dataset: users_pii key_id: kms://pii/users/tenant-42 erase(user_id=42):
rotate_or_destroy (key_id) # inability to restore former purge_indexes blocks ("user _ id = 42")
audit("crypto-erasure", user_id)

Συμπέρασμα

Οι πολιτικές διατήρησης είναι ο «σκελετός» της πλατφόρμας δεδομένων σας: περιγράφουν πόσο καιρό ζουν διαφορετικές κατηγορίες δεδομένων, πού βρίσκονται κάθε στιγμή, πώς γίνονται φθηνότερες με την πάροδο του χρόνου, και πότε εξαφανίζονται χωρίς ίχνος - νομικά, με διαφάνεια και επαληθευμένα. Κάντε τη διατήρηση μια πολιτική όπως ο κώδικας, συνδέστε την ILM με την ασφάλεια και το κόστος, ενεργοποιήστε την παρατηρησιμότητα και τις πύλες - και μπορείτε να πάρετε ένα σύστημα που είναι τόσο αποτελεσματικό, συμβατό και έτοιμο να αναπτυχθεί.