Деректерді жою және жасырын ету

1) Мақсаты және саласы

Барлық жүйелерде (өнім/әмиян, KYC/AML, RG, маркетинг/CRM, аналитика/DWH, логи/АЖО), оның ішінде вендорлар/провайдерлер және бекаптарды, оқшаулауды ескере отырып, ойыншылардың, транзакциялардың және операциялық журналдардың деректерін заңды, қауіпсіз және дәлелденетін жоюды/анонимдеуді қамтамасыз ету юрисдикциялар бойынша.

2) Қағидаттар

1. Саясат практикадан бұрын. Ретенция, мақсаттар мен сақтау орындары жинауға дейін анықталған.
2. Барынша азайту және бөлу. PII арналған жеке сақтау орындары, оқиғалардағы токенизация.
3. Жою = дәлелі бар оқиға. Кез келген алып тастау артефактпен расталады.
4. Fail-Closed. Беймәлім мәртебе/аймақ → PII операцияларына тыйым салу.
5. Backups-aware. Бэкаптар жауынгерлік деректер сияқты ережелерге бағынады.
6. «Мерзімсіз сақтаудың орнына анонимдеу». Егер заң PII талап етпесе - агрегаттарға көшіреміз.

3) Рөлдер және RACI

DPO/Compliance (Owner) - ретенция/жою, ерекшеліктер, аудит саясаты. (A)

Security/Infra - шифрлау, кілттер, крипто-өшіру, бэкаптар/DR. (R)

Data Platform/Analytics - de-PII пайплайндар, агрегаттар, DWH/DL. (R)

Product/Engineering/SRE - API жою, каскадтар, тесттер, бақылау. (R)

Legal - жергілікті мерзімдер мен шектеулер (AML/лицензиялық). (C)

Privacy Ops/DSAR Team - теңшелетін өшіру/түзету. (R)

Vendor Manager - вендорлардың міндеттемелері, орындалғанын растау. (R)

Internal Audit - іріктемелер, CAPA. (C)

4) Деректердің таксономиясы және ретенция стандарты

5) Техникалық әдістер

5. 1 Жою

Каскадты логикалық/физикалық: физикалық жоюға soft-delete → job.
Крипто-өшіру (crypto-shredding): сегмент/тенантты шифрлау кілтін жою; бэкаптарға/мұрағаттарға қолданылады.
Токендердің Revocation: провайдерлерден төлем/трек токендерін қайтарып алу.
Nullify/Mask: жазбаны ресми сақтауды талап ететін өрістер үшін (мысалы, бухгалтерия).

5. 2 Бүркеншік атау

Бастапқы сәйкестендіргіштерді токендермен ауыстыру; сәйкестік кестесі жеке KMS-мен жеке сақталады.

5. 3 Анонимдеу

Агрегаттау/кохорттау, k-анонимділік/ -diversity, биннинг, сирек мәндерді кесу, есептердегі сараланған жекешелілік.

5. 4 Логтарды жасыру

Агент жиында PII редакциялайды (е. g., e-mail → hash/partial), APM-де «шикі» сәйкестендіргіштерге тыйым салу.

6) Алып тастаудың өмірлік циклі

1. Триггер: ретенция мерзімі, DSAR-erase, аккаунтты жабу, келісімді қайтарып алу, шарттың/мақсаттың аяқталуы.
2. Бағалау: заңды блоктар бар ма? (AML/легал-холд/лицензия).
3. Оркестрлеу: жүйелер/вендорлар бойынша erasure-пакет қалыптастырылады.
4. Орындау: каскадтар, revoke токендері, мұрағаттар үшін крипто-wipe.
5. Валидация: жазбаларды салыстыру, қалдықтарды бақылау (orphaned data).
6. Артефакт: партия/кілттердің хэштері, уақыты мен көлемі бар есеп.
7. Репортинг: KPI дашборды, аудит/реттегіш журналы.

7) Ерекше назар аудару аймақтары

7. 1 Бекеттер/мұрағаттар/DR

Сол аймақтағы бэкаптар, кілттерді шифрлау және каталогтау.
Шынайы: immutable-backup физикалық жою қиын → crypto-shredding сегментін қолданыңыз.

7. 2 Логи және телеметрия

PII-free by default саясаты; егер PII сөзсіз болса - жергілікті логтар, қысқа мерзім, агентте бүркемелеу.

7. 3 DWH/аналитика

Тек де-PII деректер; қажет болған жағдайда тарихшылар - бастапқы PII-мен байланысты жасырын ету және үзу.

7. 4 Вендорлар мен провайдерлер

DPA/қосымша келісімдер: жою мерзімдері, тетіктері, орындалуын растау (Certificate of Destruction/Erase Evidence).

7. 5 Юрисдикциялар бойынша оқшаулау

Жою өңірлік периметрде жүзеге асырылады, PII-ні оның шегінен тыс экспорттауға тыйым салынады; жаһандық есептер - тек агрегаттар.

8) API/ivents және деректер моделі

• `retention_due_detected`, `erasure_job_started`, `erasure_job_completed`, `crypto_shred_done`, `vendor_erasure_ack_received`, `erase_validation_failed`, `dsar_erase_linked`, `audit_artifact_saved`.

erasure_job {
id, subject_id_hash    scope{cohort    partition}, trigger{retention    dsar    contract_end    consent_withdrawn},
market, region, systems[], vendors[],
started_at_utc, completed_at_utc, status{ok    partial    failed},
method{cascade    crypto_shred    nullify    token_revoke},
counts{records, tables, bytes}, checksum{before, after},
keys_destroyed[{kms_key_id, destroyed_at_utc, evidence_id}],
validation{orphan_scan:passed    failed, sample_checks[]},
linked_cases{dsar_case_id?}, owner, approvers{dpo, security}, audit_artifacts[]
}

9) Бақылау және бақылау

Erasure Coverage - автоматты түрде алып тастаумен жабылған жүйелердің үлесі.
Time-to-Erase - триггерден аяқталғанға дейінгі уақыт медианы.
Orphaned Data Rate - анықталған «жетім» жазбалар.
Backup Crypto-Shred SLA - уақытында жойылған кілттер.
Vendor Ack Rate - вендорлардан мерзімінде алшақтауды растау үлесі.
DSAR Erase SLA - пайдаланушы жою мерзімдерін сақтау.
Auditability Score - іріктемелер бойынша артефактілердің болуы.

10) Чек парақтары

А) Саясат және дизайн

• Санаттар/нарықтар бойынша ретенция тізілімі Legal/DPO бекітті.
• PII/аймақтар/кілттер көрсетілген жүйелер/вендорлар картасы.
• Әдістер анықталды: талдау үшін каскад/крипто-wipe/де-PII.
• DPA/келісімшарттар жаңартылды (SLA жою, растау).

B) Техника және операциялар

• Өшіру API және тапсырмалар оркестрі қосылған.
• PII-free логтары/агенттері сезімтал өрістерді бүркемелейді.
• Бэкаптар шифрланған, кілттер нарықтар бойынша сегменттелген.
• Автотесттер: DSAR-erase, cron ретенциясы, orphan-сканер.
• KPI/Алерт бақылау тақтасы.

C) Аудит және жақсарту

• Алып тастау артефактілері бар жүйелердің/вендорлардың тоқсандық іріктемелері.
• Қашықтағы сегменттерді ескере отырып, DR/қалпына келтіру тесті.
• CAPA табылған қалдықтар/бұзушылықтар бойынша.

11) Үлгілер (жылдам кірістіру)

А) Вендоры бар клауза (алып тастау/ретенция)

B) Анонимдеу жөніндегі шешім (ішкі нысаны)

C) Пайдаланушыға жауап беру (DSAR-erase аяқталды)

12) Жиі қателер және алдын алу

Жауынгерлік ДБ-дан жою, бірақ бэкаптан емес. → Crypto-shredding және кілттер тізілімі.
PII логтарда/АЖО. → Агентте бүркемелеу, қысқа ретенция.
Орфандық жазбалар (кросс-сервистер). → Orphan-сканерлер және келісімшарттық каскадтар.
PII-қалдықтарымен DWH. → De-PII экспорт алдындағы пайплайндар, шикі сәйкестендіргіштерге тыйым салу.
Артефакттар жоқ. → Есептер мен WORM қоймасының міндетті генерациясы.
Вендор жойған жоқ. → SLA және санкциялар/hold төлемдер расталғанға дейін.

13) 30 күндік енгізу жоспары

1 апта

1. Ретенция тізілімі мен әдістер матрицасы (каскад/крипто/де-PII) бекітілсін.
2. Жүйелердің/вендорлардың/кілттердің картасын жасау, өңірлік периметрлерді белгілеу.
3. Артефактілер моделін және KPI дашбордын ерекшелендіру.

2 апта

4) Жою, API және оқиғалар оркестрін іске асыру; DSAR сілтемелерін қосу.
5) Логтарды жасыруды және «PII-free by default» ережелерін қосу.
6) Бэкаптар үшін crypto-shred баптау, нарықтар бойынша KMS сегментациясы.

3 апта

7) DWH үшін де-PII конвейер (кохорттар/k-анонимділік/биннинг).
8) Пилоттық жою: ретенция бойынша 20 DSAR + 2 партиялы кейстер; CAPA жабыңыз.
9) DPA-ны негізгі вендорлармен (SLA/растау) жаңарту.

4 апта

10) Толық релиз; (Time-to-Erase, Vendor Ack).
11) Қашықтағы кілттер сегментімен DR-тест.
12) v1 жоспары. 1: дифф. есептердегі құпиялылық, кесте бойынша авто-orphan-сканерлер.

14) Өзара байланысты бөлімдер

GDPR: пайдаланушылардың келісімін басқару

Cookies саясаты және CMP жүйелері

Privacy by Design: жобалау принциптері

Юрисдикциялар бойынша деректерді оқшаулау

DSAR: деректер үшін пайдаланушы сұраулары

At Rest/In Transit, KMS/BYOK/HYOK шифрлау

Дашборд комплаенс және мониторинг/Ішкі және сыртқы аудит