Пайдаланушылық деректерді сақтау және жою

1) Сақтау және жою саясаты не үшін қажет

Мақсаты - қажетті деректерді қажет болғанша сақтау және оларды өңдеу мақсаттары аяқталғаннан кейін қауіпсіз жою. Бұл заңдық тәуекелдерді, шабуыл жасау бетін, инфрақұрылым шығындарын төмендетеді және аудитті жеңілдетеді (лицензиялар, PSP-серіктестер, реттеушілер).

• Мақсатқа/негіздемеге байланыстыру (шарт, заң, заңды мүдде, келісім).
• Минимизация және сегрегация (PII, псевдонимдер, аноним).
• Жоюдың болжамды мерзімдері мен дәлелденетін рәсімдері.
• Үздіксіз бақылау (логтар, есептер, метриктер).

2) Деректер аймақтары және сәулеттік тіректер

Zone A - PII/сезімтал: KYC, төлем токендері, биометрия (рұқсат етілген жерде). At-rest шифрлау, қатаң RBAC/ABAC, JIT қол жеткізу.
Zone B - Псевдонимделген: талдауға арналған тұрақты токендер/ML; тікелей сәйкестендіруге тыйым салу.
Zone C - Жасырын агрегаттар: есептілік/зерттеулер; ұзақ сақтау мерзіміне жол беріледі.

• Data Catalog/RoPA (операциялар тізілімі), Retention Service (ережелер), Deletion Orchestrator (толассыз жою), WORM-мұрағат (аудит/инциденттер).

3) Ретеншн-матрица: қалай жасау керек

1. Өңдеудің мақсаттарын салыстырып көріңіз, құқықтық негіздер, деректер санаты, мерзімдер.

2. Есептеудің басталу триггерлерін сипаттаңыз (оқиғалар: есеп құру, соңғы логин, шотты жабу, шарттың аяқталуы, соңғы транзакция).

3. Әдісті аяқтағаннан кейін белгілеңіз: жою, анонимдеу, бұғаттау («фриз» қажет болғанда).

4. Иесін және ерекшеліктерін көрсетіңіз (AML/салықтар/даулар/алаяқтық).

4) Сақтау саясаты (скелет)

1. Әрекет саласы, рөлі (деректер иесі, DPO, Security, Operations).
2. Анықтамалар (ПД санаттары, аймақтар, мұрағат, бэкап, анонимдеу/бүркеншік атау).
3. Деректерді мақсаттарға/негіздерге және мерзімдерге байланыстыру (ретеншн-матрицаға сілтеме).
4. Ерекшеліктерді басқару (заңды «холдинг», тергеулер, реттеушілік сұрау салулар).
5. Қолжетімділікті бақылау, шифрлау, түсіру аудиті.
6. Қайта қарау тәртібі (тоқсан сайын/мақсаттар/провайдерлер өзгерген кезде).

5) Пайплайн жою және жасырын

• Mark-for-Deletion: жазбалар мен тәуелділіктерді белгілеу; «холдингтерді» тексеру.
• Grace Period: қате болдырмау үшін буфер (мысалы, 7-30 күн).
• Soft Delete: азық-түлік сервистерінен логикалық жасыру; тарату/өңдеуді тоқтату.
• Hard Delete/Anonymize: бастапқы сақтау орнында физикалық тазарту/қайтарымсыз анонимдеу.
• Cascade & Fan-out: деривативтерге арналған каскад (кэштер, іздеу индекстері, фиче-стор, DWH, ML-қабаттар).
• Backups: Бэкап саясаты бойынша кейінге қалдырылған тазалау (төменде қараңыз).
• Evidence: жою актісі (ID, жіктеуіш, уақыт, жүйелер), WORM логы.

• Lineage бойынша трассаланған субъектіні кілт бойынша жою.
• Идемпотенттік тапсырмалар, ретрациялар, командаларды дедупликациялау.
• SLA: жойылғандардың көпшілігі сұрау салудан 30 күн ≤ (егер қолданылса).
• «Алынбайтын» өрістерді бақылау: белгілермен/маскамен ауыстыру.

6) Бэкаптар мен репликалар: көшірмелермен не істеу керек

Иммутабельді бэкаптар (ransomware-тұрақтылық) жеке саясат бойынша сақталады; тікелей өңдеуге тыйым салынған.
Субъектіні бэкаптан шығару бэкап мерзімі өткеннен кейін және егер бұл қайта сәйкестендіруге әкелетін болса, жауынгерлік ортаға қалпына келтіруге тыйым салу арқылы орындалады.
Құжаттаңыз: бэкаптарды сақтау window (мысалы, 30/60/90 күн), қалпына келтіру сценарийлері және қалпына келтіру кезіндегі «sanitization» процесі (белгіленген жазбаларды қайта жою үшін пост-скрипттер).

7) Ерекшеліктер және «құқықтық холдинг»

• Негізін, мерзімін және иесін көрсете отырып, Legal Hold қойылсын.
• Көрсетілген мақсаттардан басқа кез келген мақсаттар үшін деректерге қол жеткізуді бұғаттау.
• Холдтарды дүркін-дүркін қайта қарап, негізі қалмаса шешіп алу керек.

8) Құжаттама және артефактілер

Ретеншн-матрица (нұсқаланатын).
Жою рәсімі (SOP): қадамдар, рөлдер, SLA, эскалация.
Deletion Evidence Log (WORM): кім/не/қашан/нәтиже.
Backups Policy: сақтау мерзімі, сыныбы, қалпына келтіру тестілері.
Data Lineage Map: бастапқы кестелерден туынды қабаттарға дейін.
Ерекшеліктер/Legal Holds Register.

9) Метрика және сапаны бақылау

Retention Adherence: кесте бойынша жойылған жазбалар%.
Deletion SLA: медиана/сұрау/триггер сәтінен бастап 95-перцентиль.
Cascade Completion Rate: жою аяқталған жүйелердің үлесі.
Backups Window Compliance: мерзімі бойынша жойылған бэкаптар үлесі.
Access/Export Violations: рұқсатсыз оқу/түсіру.
DSR SLA (егер қолданылса): жауаптар белгіленген мерзімдер ≤.
Incident Rate: жою/рассинхронизация ақауларының саны.

10) Чек-парақтар (операциялық)

Фич іске қосылмас бұрын

• Өңдеудің мақсаты/негізі және сақтау аймағы (A/B/C) анықталды.
• Ретеншн-матрицаға жол қосылды (мерзімі, триггері, әдісі).
• Deletion Orchestrator баптаған (кілттер, каскадтар, idempotency).
• Аудит қосылды (WORM-логтар), RoPA жаңартылды.

Күн сайын/апта сайын

• Жою тапсырмаларын жоспарлаушы қатесіз жұмыс істеді.
• Жаңа Legal Holds тіркелген, мерзімі өткен - алынып тасталды.
• Бэкаптар бойынша есептер тексерілді (құру/аяқталу).

Тоқсан сайын

• Ретеншн-матрица ревю және ерекшеліктер.
• Скрипттердің backup + «sanitization» қалпына келтіру сынағы.
• Метриканы салыстыру (SLA, Cascade, Violations), жақсарту жоспары.

11) Жиі қателер және оларды болдырмау

«Қор туралы» сақтау → мақсаттарға қатаң байланыстыру; санаттар бойынша автоматты TTL.
Каскад жоқ → деректер кэште/индексте/фич-сторда қалады; әмбебап оркестрді енгізіңіз.
Прод-ПД бар Dev/Stage → синтетикалық жиынтықтарды/бүркемелеуді пайдаланыңыз; дампаларды автоматты түрде аралау.
Саясаттан тыс бэкаптар → терезелерді анықтаңыз, рұқсатсыз қалпына келтіруге тыйым салыңыз, «sanitization» тестілері.
Дәлелдемелердің болмауы → WORM-лог, жою актілері, тұрақты есептер.
Негіздерді араластыру → маркетингті/қауіпсіздікті/шартты бөлісу; «қандай жағдай болғанда да» мерзімін созбаңыз.

12) Пайдаланушы жою мысалы (өтпелі сценарий)

1. Пайдаланушы тіркелгіні жабады немесе жою үшін DSR береді.
2. Шектеулерді тексеру (AML, даулар) → бар болса - Legal Hold.
3. Холл жоқ болса: Mark-for-Deletion → Grace 14 күн → Soft Delete.
4. Транзакциялық қабатта Hard Delete/Anonymize, содан кейін кэшке каскад, индекстер, DWH, ML-фич-стор.
5. Evidence Log бағдарламасында логин орнату, профильдегі/поштадағы мәртебені жаңарту.
6. Сақтау терезесі біткеннен кейін бэкаптан тазарту.

13) Рөлдер және жауапкершілік (RACI)

Data Owner/Domain Lead - мерзімдер мен мақсаттар; ретеншн матрицасын жаңарту.
DPO/Privacy - құқыққа сәйкестігі, ерекшеліктер бойынша консультациялар.
Security/CISO - шифрлау, кіру, аудит, бэкап/қалпына келтіру.
Data Engineering — Deletion Orchestrator, lineage, каскады.
Support/Operations - DSR, мәртебесі және SLA бойынша коммуникация.
Legal - заңды холдингтер, реттеушілермен/соттармен өзара іс-қимыл.

14) wiki үшін үлгілер

Retention-Matrix. xlsx/MD (санат → мақсат → негіз → мерзім → әдіс).
Deletion-SOP. md (эскалациясы бар қадамдық регламент).
Backups-Policy. md (терезелер, сақтау орындары сыныптары, қалпына келтіру тест-жоспары).
Legal-Holds-Register. md (қою/алу нысандары).
Data-Lineage-Diagram (деривативтерге кестелерден сілтемелер).
Monthly-Privacy-Ops-Report. md (метриктер, оқыс оқиғалар, жақсартулар).

15) Енгізу жол картасы (6 қадам)

1. Түгендеу: деректер/ағындар картасы, мақсаттар мен негіздерді салыстыру.
2. Ретеншн-матрица: мерзім жобасы + иелері; Legal/DPO-мен келісу.
3. Жою оркестрі: кілттер, каскадтар, бэкап-санитария, WORM-логи.
4. Саясаттар/рәсімдер: Retention Policy, Deletion SOP, Backups Policy, Legal Hold.
5. Автоматтандыру және мониторинг: кестелер, хабарландыру, дашборд метриктер.
6. Аудиттер және оқыту: тоқсандық қайта қарау, актілердің тэмплейттері, қалпына келтіру жаттығулары.

Жиынтық

Деректерді тиімді сақтау және жою - бұл басқарылатын цикл: мақсат → мерзім → бақылау → қауіпсіз жою/анонимдеу → дәлелдеу. Аймақтарды сегрегациялау, ретеншн-матрица, каскадты алып тастау (бэкаптарды қоса алғанда), түсінікті ерекшеліктер мен метриктер жекелілік пен комплаенсті тәуекелден бәсекелестік артықшылыққа айналдырады - өнім жылдамдығы мен UX сапасы үшін шығынсыз.