Сиёсати нигоҳдорӣ ва нигоҳдорӣ

1) Принсипҳо

1. Мақсад ва ҳадди аққал. Мо маҳз он чизеро, ки барои мақсадҳои коркард лозим аст, нигоҳ медорем.
2. Сиёсат ҳамчун Кодекс. Нигоҳдорӣ сиёсати иҷрошаванда аст, на PDF.
3. Мудофиа дар амиқ. TTL/ILM + рамзгузорӣ + аудитҳо + Холдинги ҳуқуқӣ.
4. Бозсозӣ ва исбот. Нест кардан санҷида мешавад: гузоришҳои амал, пошидани крипто, гузориши мувофиқат.
5. Арзиш ва огоҳии карбон. Нигоҳдорӣ $/GB-моҳ ва изофаи карбон барои нигоҳдорӣ/egress ба назар гирифта мешавад.

2) Таснифи маълумот ва "Харитаи Retenschen"

• Амалиётӣ (OLTP): фармоишҳо, пардохтҳо, сессияҳо.
• Таҳлилӣ (DWH/санаҳо): рӯйдодҳо, далелҳои сабти ном, иловаро.
• Шахсӣ (PII/молия/тандурустӣ): шартҳо ва ҳуқуқҳои махсуси субъектҳоро талаб мекунад.
• Техникӣ: гузоришҳо, ченакҳо, роҳҳо, артефактҳои CI.
• Ҳуҷҷатҳо/ВАО: WORM/бойгонӣ/легаси.

Барои ҳар як синф муқаррар карда мешавад: соҳиб, мақсад, заминаи ҳуқуқӣ, сана, сатҳи ҳифз, нигоҳдории ҷорӣ ва мақсаднок.

3) Lifecycle ILM маълумот

1. Inest (гарм) → NVM je/SSD, сатҳи баланди дархост.

2. Гарм → камтар хондан, фишурдан, форматҳои сутун.

3. Хунук/Бойгонӣ → объект/лента, дастрасии дароз.

4. Тозакунӣ/Нест кардан → нест кардани кафолатдодашуда (аз ҷумла нусхабардорӣ/нусхабардорӣ).

yaml dataset: events_main owner: analytics purpose: "product analytics"
classification: "pseudonymized"
lifecycle:
- phase: hot; duration: 7d; storage: nvme; format: row
- phase: warm; duration: 90d; storage: ssd; format: parquet; compress: zstd
- phase: cold; duration: 365d; storage: object; glacier: true
- phase: purge; duration: 0d privacy:
pii: false dp_delete_window: 30d # SLA on personal deletions if ligaments appear

4) Сиёсатҳо ҳамчун рамз (эскизҳои муфид)

4. 1 Сиёсати қабул (барчаспҳои зарурӣ/TTL)

yaml policy: require-retention-tags deny_if_missing: [owner, purpose, classification, retention]
default_retention:
logs:  "30d"
traces: "7d"
metrics:"90d"

4. 2 Дарвоза дар CI/CD (Rego) - манъи ҷойгиркунӣ бидуни истироҳат

rego package policy. retention deny[msg] {
some d input. datasets[d].retention == ""
msg:= sprintf("Retention missing for dataset %s", [d])
}

4. 3 S3/object (порчаи даврӣ)

yaml
Rules:
- ID: logs-ttl
Filter: { Prefix: "logs/" }
Transitions:
- { Days: 7, StorageClass: STANDARD_IA }
- { Days: 30, StorageClass: GLACIER }
Expiration: { Days: 180 }
NoncurrentVersionExpiration: { NoncurrentDays: 30 }

5) Нигоҳ доштани риштаҳо ва навбатҳо

• 'истироҳат. нигоҳ доштани ms '/'. байтҳо - нигоҳдории тиреза.
• Фишурдагӣ ('тозакунӣ. policy = compact ') - арзиши охирини калидро нигоҳ доред.
• Нигоҳдории сатҳӣ - мо "дум" -ро ба галереяи тирандозии хунук мебарем.
• DLQ нигоҳдории алоҳида ва TTL мебошад.

properties cleanup. policy=delete,compact retention. ms = 604800000 # 7d for tail removal
min. cleanable. dirty. ratio=0. 5 segment. ms=86400000

• Нигоҳ доштани мавзӯи калидиро ≈ равзанаи такрорӣ/ҳисобкунии дубора муайян кунед.
• Барои чорабиниҳои биллинг/аудит, нигоҳдории алоҳидаи дароз ё WORM.

6) Пойгоҳи додаҳо ва нигоҳдорӣ

• Тақсимот аз рӯи сана/диапазон, ҷудо кардан ва партофтани тарафҳои кӯҳна.
• Майдонҳои сана - индексатсияҳо барои дархостҳои TTL.
• Ҷадвалҳои муваққатӣ (системаи версияшуда) + сиёсати тозакунии версияҳои кӯҳна.

sql
-- Monthly instalments
CREATE TABLE audit_events (id bigserial, occurred_at timestamptz, payload jsonb) PARTITION BY RANGE (occurred_at);
-- Cleaning over 365 days
DELETE FROM audit_events WHERE occurred_at < now() - interval '365 days';
VACUUM (FULL, ANALYZE) audit_events;

• TTL дар сатҳи калидӣ (индекси Mongo-DB TTL, Redis 'EXPIRE', Cassandra TTL).
• Пастравии ченакҳо (хом 7d → агрегатҳои 90d → дарозии 365d).
• Сиёсати нигоҳдорӣ дар TSDB (Таъсир/Click

7) Гузоришҳо, ченакҳо, роҳҳо

Гузоришҳо: майдонҳои маҳдуд, ниқоби PD, TTL 7-30d, бойгонии 90-180d.
Нишондиҳандаҳо: басомади баланд - 7-14д; поёноб (5m/1h) - 90-365d.
Роҳҳо: интихоби думҳо ва дарозтар нигоҳ доштани "ҷолиб" (иштибоҳҳо/думҳо).

yaml observability:
logs:  { ttl: "30d", archive: "90d", pii_mask: true }
metrics: { raw: "14d", rollup_5m: "90d", rollup_1h: "365d" }
traces: { sample: "tail-10%", ttl: "7d", error_ttl: "30d" }

8) Хориҷ: намудҳо ва кафолатҳо

Мантиқӣ (нарм-несткунӣ): ишора кардани сабт; барои барқароршавӣ қулай аст, ба "ҳуқуқи нест кардан" мувофиқат намекунад.
Физикӣ (сахт нест кардан) - нест кардани воқеии маълумот/версияҳо/нусхаҳо.
Криптографӣ (crypto-erasure): нест кардан/иваз кардани калидҳои рамзгузорӣ, ки баъд аз он маълумот барқарор карда намешавад.
Каскад: нест кардани ҳосилаҳои ниҳоӣ (кэш, индексатсия, таҳлил).

request → locate subject data (index by subject_id) → revoke tokens & unsubscribe jobs → delete in OLTP → purge caches → enqueue erasure in DWH/lakes → crypto-shred keys (per-tenant/per-dataset) → emit audit proof (receipt)

9) Ҳуқуқ барои хориҷ кардан, нигоҳ доштани ҳуқуқӣ ва кашфи электронӣ

Ҳуқуқи нест кардан/ислоҳ кардан: SLA иҷро (масалан, ≤ 30 рӯз), амалҳои пайгиришуда, квитансияҳо.
Нигоҳдории ҳуқуқӣ: бо дархости қонунӣ - нест кардани маҷмӯаҳо/калидҳои муайяншуда; сиёсати афзалиятнок нисбат ба TTL.
EDiscovery: каталоги маълумот, ҷустуҷӯи пурраи матн/атрибут артефакт, содирот дар форматҳои пайваста.

yaml legal_hold:
dataset: payments scope: ["txn_id:123", "user:42"]
from: "2025-10-31"
until: "2026-03-31"
reason: "regulatory investigation"

10) Нусхабардорӣ ва бойгонӣ vs WORM

Нусхабардорӣ - барқарор кардани зиён/зарар; нигоҳдории кӯтоҳ, RTO зуд.
Бойгонӣ - нигоҳдории дарозмуддат барои аудит/таҳлил, арзон, дастрасии дароз.
WORM - васоити ахбори тағйирнопазир барои мувофиқат (молия/ҳисобот); сиёсатҳои "як бор нависед, бисёр хонед".

• Захираро ҳамчун "бойгонӣ барои асрҳо" ҳисоб накунед.
• Репетицияи барқарорсозӣ (рӯзҳои DR), ҳисоботи вақт ва пуррагӣ.
• Феҳристи нусхаҳои эҳтиётӣ бо нигоҳдорӣ, рамзгузорӣ ва калидҳо алоҳида аз нигаҳдорӣ.

11) Махфият ва беном

Бегона кардан: PII ҳатмиро тавассути ҷадвали калидӣ ба таъхир меандозад (имкон медиҳад, ки крипто тоза карда шавад бо калид).
Анонимизатсия: усулҳои бебозгашт (k-беном, садо, умумӣ); Усули ҳуҷҷат, хатари муайянкунии дубора ва мӯҳлати истифода.

12) Мониторинг ва ҳисоботдиҳии мутобиқат

Панелҳои назоратӣ: таносуби маҷмӯаҳо бо нигоҳдории дуруст, ҳаҷм аз рӯи марҳилаҳои ILM, хатогиҳои несткунӣ.
Огоҳиҳо: аз миқдори мақсаднок дар тирчаи гарм зиёдтар, несткуниҳои "овезон", ки ба мӯҳлати нигоҳдории ҳуқуқӣ ба охир мерасанд.
Ҳисоботҳо: аудити ҳармоҳаи несткунӣ (шумораи дархостҳо, мӯҳлати миёна, нокомӣ), чопи криптовалют.

13) Ҳамгироӣ ба равандҳо: дарвозаҳо ва баррасиҳо

Дарвозаи тарроҳӣ: Маҷмӯаи нав бидуни 'соҳиб/ҳадаф/нигоҳдорӣ' бознигарӣ намекунад.
Дарвоза: муҳоҷиратҳое, ки нигоҳдориро бе соҳиб/асос зиёд мекунанд, баста мешаванд.
Дарвозаи хароҷот: ҳаҷм дар гарм/гарм аз буҷа зиёдтар аст - триггер барои мустаҳкам кардани ILM.
Дарвозаи амният: манъи ворид кардани PD ба гузоришҳо/роҳҳо бидуни пинҳон ва TTL.

14) Анти-намунаҳо

"Мо ҳама чизро то абад нигоҳ медорем - он ногаҳон муфид хоҳад шуд".
TTL-ҳои сахт рамзшуда дар барномаҳое, ки дар сиёсат пешниҳод карда намешаванд.
PD дар гузоришҳо ва пайҳо бидуни ниқоб/TTL/несткунӣ.
Нест кардани нопурра (дар кэш/DWH/нусхаҳои эҳтиётӣ).
Набудани нигоҳдории ҳуқуқӣ - тоза кардани маълумот дар зери тафтишот.
Як калиди рамзгузории умумӣ барои ҳама чиз - ишора кардани "крипто-тоза кардан" ғайриимкон аст.
Риояи сифр: "мо боварӣ дорем, ки хориҷ кардем", аммо ягон далеле вуҷуд надорад.

15) Рӯйхати назорати меъморон

1. Барои ҳар як маҷмӯа соҳиби, мақсад, тасниф, нигоҳдорӣ, сатҳи нигаҳдорӣ мавҷуд аст?
2. Оё сиёсатҳои ILM/TTL ҳамчун рамз эълон карда мешаванд ва ба таври худкор татбиқ карда мешаванд?
3. PD-ҳо дар гузоришҳо/роҳҳо ниқоб доранд; берун аз маҷмӯаҳои "сафед" манъ карда шудааст?
4. Оё равандҳои несткунии шахсӣ вуҷуд доранд (SLA, аудит, квитансия)?
5. Крипто-решакан кардан имконпазир аст (ба ҳар як иҷорагир/барои як калиди маҷмӯа, KMS/гардиш)?
6. Нусхабардорӣ: ҷадвал, рамзгузорӣ, санҷишҳои барқарорсозӣ, калидҳои инфиродӣ?
7. Hold Legal/EDiscovery: Дастгирӣ, бартарӣ аз TTL, гузоришҳои фаъолият нигоҳ дошта мешаванд?
8. Кафка/навбатҳо: нигоҳдорӣ/фишурдасозӣ/сатҳи муайяншуда, DLQ сиёсати алоҳида дорад?
9. Нишондиҳандаҳо ва огоҳиҳо барои мувофиқат бо Retenschen ва ҳаҷмҳо дар галереяҳои тирандозӣ танзим карда мешаванд?
10. Оё баррасиҳо ва дарвозаҳо дар SDLC артефактҳоро бе Retenschen бастаанд?

16) Дорухатҳои мини

16. 1 Клик: 'Думро буред' дар тӯли 180 рӯз

sql
ALTER TABLE events DELETE WHERE event_date < today() - 180;
OPTIMIZE TABLE events FINAL;

16. 2 Редис: TTL и танбалӣ-поксозӣ

bash
SET session:123 value EX 3600
CONFIG SET maxmemory-policy allkeys-lru

16. 3 Интихоби дум барои роҳҳо

yaml tail_sampling:
policies:
- name: keep-errors-and-slow latency_threshold_ms: 500 status_codes: ["5xx"]
rate_limit_per_min: 5000 default_ttl: "7d"

16. 4 Крипто-тоза кардан (идея)

keys:
dataset: users_pii key_id: kms://pii/users/tenant-42 erase(user_id=42):
rotate_or_destroy (key_id) # inability to restore former purge_indexes blocks ("user _ id = 42")
audit("crypto-erasure", user_id)

Хулоса

Сиёсати нигоҳдорӣ "скелет" -и платформаи додаҳои шумо аст: онҳо тасвир мекунанд, ки синфҳои гуногуни маълумот чӣ қадар умр мебинанд, дар ҳар лаҳза дар куҷо ҳастанд, бо мурури замон чӣ гуна арзонтар мешаванд ва вақте ки онҳо бе пайгирӣ нопадид мешаванд - қонунӣ, шаффоф ва санҷиш. Нигоҳ доштани сиёсатро ба монанди код созед, ILM-ро бо амният ва арзиш пайваст кунед, мушоҳида ва дарвозаҳоро фароҳам оваред - ва шумо системаеро ба даст меоред, ки ҳам самаранок, ҳам мувофиқ ва ҳам барои рушд омода аст.