Логтар мен оқиғаларды сақтау саясаты

1) Қолданылу мақсаты мен саласы

Мақсаты: логтардың/оқиғалардың заңды, қауіпсіз және үнемді сақталуын қамтамасыз ету, тергеуді, аудитті, AML/KYC есептілігін және платформаның орнықтылығын қолдау.
Қамту: барлық орта (prod/stage/dev), қосымшалар мен микросервистер, антифрод және төлемдер, АКҚ/санкциялар, RG, инфрақұрылым (K8s/бұлт/СDN/WAF), әріптестер/вендорлар (PSP, KYC, антифрод, талдау).

2) Логтардың кластары және өрістердің ең аз құрамы

1. Қауіпсіздік (SecOps/Identity): аутентификация, АТО/антифрод сигналдары, рөлдер мен саясаттың өзгеруі, PII-ге қолжетімділік.

Поля: `actor`, `subject`, `action`, `result`, `ip`, `device`, `geo`, `risk_score`, `trace_id`.

2. Транзакциялар/төлемдер: депозиттер/қорытындылар, chargebacks, антифрод ережелері.

Поля: `tx_id`, `amount`, `currency`, `psp`, `status`, `rule_hits[]`, `evidence_ref`.
3. КБК/санкциялар/РЕР: бастамалар, нәтижелер, провайдер/тізім нұсқасы, шешімдер (true/false positive).
4. Операциялар/SRE: SLO өлшемдері, релиздер, автокаттар, инциденттер, алерталар.
5. Маркетинг/CRM (міндетті емес): келісім/жауап қайтару, науқан оқиғалары (артық PII-сыз).
6. Деректерге қол жеткізу аудиті: PII жинақтарын оқу/экспорттау/жою; DSAR/AML кейстеріне сілтемелер.

3) Сақтау мерзімдері және сақтау деңгейлері (Hot/Warm/Cold/WORM)

4) Уақытты синхрондау және трассалану

Бірыңғай уақытша база: NTP/Chrony, 'ts _ utc' (UTC) + 'ts _ local' (есеп беру үшін) сақтау.
Корреляция: әрбір журналға 'trace _ id '/' span _ id' және 'source _ service' қосылсын.
Уақыт белдеулері: есептер/экспорт - TZ анық көрсетілуімен.

5) Қол жеткізу, шифрлау және міндеттерді бөлу

Шифрлау: at rest (KMS; құпия кеңістіктер үшін кемінде 90 күн кілттерді ротациялау) және in transit (TLS 1. 2+).
RBAC/ABAC: ең аз қолжетімділік; аудит-логтарды оқуға арналған жеке рөлдер.
Break-glass: көпфакторлы авторизациямен және автоматты жабумен уақытша кіру.
Сегментация: PII/қаржысы бар логтар - жеке индекстер/бактар, жеке кілттер.
Логтарға қол жеткізу журналдары: барлық оқу/экспорт тіркеледі және тексеріледі.

6) Құпиялылық және бүркемелеу

Парольдерді, белгілерді, PAN (толық), CVV/CVC, құжаттардың толық нөмірлерін, «шикі» биометриялық деректерді логирлеуге қатаң тыйым салынады.
Әдепкі бүркемелеу: email → 'p @domain. com`; телефон → '+ XXX123'; IBAN/PAN → белгілер/соңғы 4 сан.
Бүркеншік атау: «user _ id» аналитикалық/маркетингтік логтардағы тұрақты токенмен ауыстыру.
Cookie/SDK: тек техникалық идентификаторларды (CMP) келісімімен және егер заңды негіз болмаса, PII желімдеусіз логикалау.
DSAR үйлесімділігі: теру көзіне сілтемені және іріктеп алу/жою мүмкіндігін сақтау.

7) Деректер сапасы (Data Quality) және пішімдеу

Схема-сияқты-код: орталықтандырылған JSON-схемалар/оқиғалар хаттамалары, нұсқалау.
Валидациялар: not null/диапазондар/регекстер; қабылданбаған оқиғалар - quarantine-кезек себебінің белгісімен.
Дедупликация: бойынша '(trace_id, ts, source)'; ретрайлер үшін idempotency деңгейлері.
Байыту: қатаң детерминирленген; гео/девайс-атрибуттар - сөздіктердің нұсқасын көрсете отырып.

8) Сәулет және сақтау деңгейлері

Hot: индекстелетін сақтау орындары/іздеу кластерлері (жедел тергеу, SIEM).
Warm: жылдамдатылған қатынасы/колд индекстері бар объектілік сақтау орны.
Cold: нысандық/мұрағаттық сақтау орны (glacier-class/analog), batch арқылы сұраулар.
WORM/Legal Hold: өзгермейтін бакеттер/саясаттар ретеншн және «құқықтық ұстап қалу» мерзімі аяқталғанға дейін жою/өзгерту мүмкін емес.

9) Жою, мұрағаттау және Legal Hold (SOP)

1. Күнделікті жоспарлаушы кандидаттарды мерзімдері бойынша есептейді.
2. Белсенді тосын оқиғаларды тексеру/тергеу/Legal Hold.
3. Мұрағаттау: қажет болған жағдайда Cold/WORM жүйесіне көшіру.
4. Жою: қауіпсіз тазалау + журнал ('dataset', 'range', 'actor', 'hash _ before/after').
5. Батч аяқталғаннан кейін Compliance/Data есебі.

10) Комплаенспен интеграция (GDPR/AML/PCI/ISO)

GDPR: минимизация, RoPA-дағы мақсаттар/негіздер; DSAR қол жетімділігі; 72 сағаттық хабарламалар аудит-логиге сүйенеді.
AML: санкциялық тексеру логтарын сақтау, STR/SAR-сілтемелер; мерзімі 5-10 жыл (ел бойынша).
PCI DSS (егер қолданылса): сезімтал аутентификациялық деректерге тыйым салу; төлем периметрі логтарын сегрегациялау.
ISO 27001/ISMS: логикалау саясаты міндетті құжат ретінде; жыл сайынғы аудиттер мен тестілер.

11) Вендорлар мен субпроцессорлар

DPA/SLA: сақтау мерзімін, географияны, TOMs, экспорт форматын, WORM/Legal Hold, оқиғаға реакция уақытын белгілеу.
Аудит: сауалнамалар, PII-ге қол жеткізудің іріктелген логтары, инцидент/хабарлама тесті.
Оффбординг: логтарды жою/қайтару, жабу актісі, көшірмелердің/бэкаптардың жойылғанын растау.

12) Мониторинг және аллергия

KRIs: валидация істен шығуының өсуі> X%, ingestion> Y лагтары, ETL <99% сәтсіздігі, терезеден тыс кіру әрекеттері.
KPI: 95% сервистен ≥ логингпен қамту; Пайплайн істен шығуының MTTD ≤ 15 мин; 2 сек ≤ аяқталған Hot сұраныстарының үлесі - 95% ≥.
SOAR: ретеншна/қолжетімділік/бүркемелеу бұзылған кездегі авто-тикеттер.

13) RACI

14) Экспорт және есептілік

Әдепкі иесіз алушылар мен пішімдердің (CSV/Parquet/JSON) ақ тізімдері.
Әрбір мұрағаттың қолы/хэштері, түсіру журналы.
Реттеуші есептердің үлгілері: санкциялар/РЕР, KYC, AML-алерталар, PII-ге қолжетімділік, инциденттер бойынша мәліметтер.

15) Әзірлеуге және пайдалануға қойылатын талаптар

Барлық трафикті емес, негізгі әрекеттерді/шешімдерді логикалау.
Деңгей стандарттары: 'DEBUG' prodда тыйым салынған; 'INFO' бизнес оқиғалар үшін; 'WARN/ERROR' аномалиялар үшін.
Redaction-middleware: гейтвейлердегі/SDK бүркемелеудің бірыңғай қабаты.
Тест ортасы: синтетикалық деректер немесе бүркеншік атау; prod-лог көшірмелерін dev.
Релиздер: CAB-да логиндеу/бүркемелеу чек-парағы; кеңейтілген логинге арналған feature-жалаушалар.

16) Чек парақтары

16. 1 Апта сайынғы бақылау

• Уақытты дрейфсіз үндестіру
• ingestion <табалдырық қателері
• Сэмплдерде тікелей PII/құпиялар жоқ
• Қатынас/рөлдер өзекті
• ETL табысы ≥ 99%

16. 2 Ай сайынғы аудит

• Ретеншті/өшіруді тексеру
• Кездейсоқ экспорт іріктемесі (қолтаңба/хэш ок)
• Вендорлардың ревю (қолжетімділік журналдары, инциденттер)
• Схемаларды/анықтамаларды жаңарту

16. 3 Жою/мұрағат алдында

• Legal Hold/инцидент жоқ
• Байланысты артефактілерді экспорттау (егер талап етілсе)
• Жою хаттамасы жасалды

17) Логин оқиғалары (жылдам playbook)

PII/құпия табылған → дереу redaction ережелерін қосу, кіруді шектеу, кілттерді тазалау/ротациялауды бастау, масштабты бағалау (DPO/Legal), қажет болған жағдайда - хабарламалар.
Логтар пайплайнының істен шығуы → буферизацияға ауысу, SRE алерті, ingestion қайта бастау, пост-мортем.

18) Енгізу жол картасы

1-2 апталар: дереккөздерді түгендеу, мерзімдерді келісу, ретеншнаның базалық матрицасы, схема-код сияқты.
3-4 апталар: бүркемелеу/редакциялауды енгізу, индекстерді PII-мен бөлу, NTP/trace-сәйкестендіргіштер, критикалық жиынтықтар үшін WORM.
2 ай: жою/мұрағаттау автоматтандырылған, KRIs/KPIs және алерта, SOAR-плейбуктер.
3 + айы: вендорлар аудиті, құнды оңтайландыру (tiering), юрисдикция мерзімдері мен талаптарын тоқсандық тексеру.

TL; DR

Логтардың бірыңғай саясаты = мерзімнің нақты матрицасы + бүркемелеу және шифрлау + RBAC және қолжетімділік аудиті + WORM/Legal Hold + сапа және уақытты үндестіру. Бұл тәуекелдерді азайтады (GDPR/AML/PCI), сақтауды арзандатады және тергеуді жеделдетеді.