Політика зберігання логів і подій
1) Мета і область дії
Мета: забезпечити законне, безпечне і економічне зберігання логів/подій, підтримати розслідування, аудит, звітність AML/KYC і стійкість платформи.
Охоплення: всі середовища (prod/stage/dev), додатки і мікросервіси, антифрод і платежі, КУС/санкції, RG, інфраструктура (K8s/хмара/СDN/WAF), партнери/вендори (PSP, KYC, антифрод, аналітика).
2) Класи логів і мінімальний склад полів
1. Безпека (SecOps/Identity): автентифікація, АТО/антифрод-сигнали, зміни ролей і політик, доступ до PII.
Поля: `actor`, `subject`, `action`, `result`, `ip`, `device`, `geo`, `risk_score`, `trace_id`.
2. Транзакції/платежі: депозити/висновки, chargebacks, правила антифроду.
Поля: `tx_id`, `amount`, `currency`, `psp`, `status`, `rule_hits[]`, `evidence_ref`.
3. КУС/санкції/РЕР: ініціації, результати, провайдер/версія списків, рішення (true/false positive).
4. Операції/SRE: метрики SLO, релізи, автокат, інциденти, алерти.
5. Маркетинг/CRM (необов'язкові): події згоди/відписки, кампанії (без зайвої PII).
6. Аудит доступу до даних: читання/експорт/видалення наборів з PII; посилання на кейси DSAR/AML.
3) Терміни зберігання та рівні зберігання (Hot/Warm/Cold/WORM)
4) Синхронізація часу і трасування
Єдина тимчасова база: NTP/Chrony, зберігати'ts _ utc'( UTC) +'ts _ local'( для звітності).
Кореляція: в кожен лог включати'trace _ id '/' span _ id'і'source _ service'.
Часові пояси: звіти/експорт - з явним зазначенням TZ.
5) Доступ, шифрування і поділ обов'язків
Шифрування: at rest (KMS; ротація ключів не рідше 90 днів для секретних просторів) і in transit (TLS 1. 2+).
RBAC/ABAC: доступ за мінімумом; окремі ролі на читання аудит-логів.
Break-glass: тимчасовий доступ з багатофакторною авторизацією та автозакриттям.
Сегментація: логи з PII/фінансами - окремі індекси/баки, окремі ключі.
Журнали доступу до логів: всі читання/експорти фіксуються і рев'юляться.
6) Приватність і маскування
Суворо заборонено логувати: паролі, токени, PAN (повністю), CVV/CVC, повні номери документів, «сирі» біометричні дані.
Типове маскування: email → `p@domain. com`; телефон →'+ XXX123'; IBAN/PAN → токени/останні 4 цифри.
Псевдонімізація: замінювати'user _ id'на стійкий токен в аналітичних/маркетингових логах.
Кукі/SDK: логувати тільки технічні ідентифікатори за згодою (CMP) і без склеювання з PII, якщо немає законної підстави.
DSAR-сумісність: зберігати посилання на джерело набору і можливість вибіркового вилучення/видалення.
7) Якість даних (Data Quality) та форматування
Схема-як-код: централізовані JSON-схеми/протоколи подій, версіонування.
Валідації: not null/діапазони/регекси; відхилені події - в quarantine-чергу з міткою причини.
Дедуплікація: по `(trace_id, ts, source)`; рівні idempotency для ретраїв.
Збагачення: строго детерміноване; гео/девайс-атрибути - із зазначенням версії словників.
8) Архітектура та рівні зберігання
Hot: індексовані сховища/пошукові кластери (оперативні розслідування, SIEM).
Warm: об'єктне сховище з прискореним доступом/колд-індексами.
Cold: об'єктне/архівне сховище (glacier-клас/аналог), запити через batch.
WORM/Legal Hold: незмінні бакети/політики ретеншну і «правові утримання» з неможливістю видалення/зміни до закінчення терміну.
9) Видалення, архівування та Legal Hold (SOP)
1. Щоденний планувальник обчислює кандидатів за термінами.
2. Перевірка на активні інциденти/розслідування/Legal Hold.
3. Архівування: перенесення в Cold/WORM при необхідності.
4. Видалення: безпечне очищення + журнал («dataset», «range», «actor», «hash _ before/after»).
5. Звіт в Compliance/Data по завершенні батча.
10) Інтеграція з комплаєнсом (GDPR/AML/PCI/ISO)
GDPR: мінімізація, цілі/підстави в RoPA; DSAR-доступність; 72-годинні повідомлення спираються на аудит-логи.
AML: зберігання логів санкційних перевірок, STR/SAR-посилання; терміни 5-10 років (по країні).
PCI DSS (якщо застосовується): заборона чутливих автентифікаційних даних; сегрегація логів платіжного периметра.
ISO 27001/ISMS: політика логування як обов'язковий документ; щорічні аудити та тести.
11) Вендори і субпроцесори
DPA/SLA: прописати терміни зберігання, географію, TOMs, формат експорту, WORM/Legal Hold, час реакції на інцидент.
Аудит: опитувальники, вибіркові логи доступу до PII, тест інциденту/повідомлення.
Оффбординг: видалення/повернення логів, акт закриття, підтвердження знищення копій/бекапів.
12) Моніторинг та алерти
KRIs: зростання відмов валідацій> X%, лаги ingestion> Y, неуспіх ETL <99%, спроби доступу поза вікном.
KPI: покриття логуванням ≥ 95% сервісів; MTTD відмови пайплайна ≤ 15 хв; частка запитів до Hot, завершених ≤ 2 сек - ≥ 95%.
SOAR: авто-тікети при порушенні ретеншну/доступів/маскування.
13) RACI
14) Експорт і звітність
Білі списки одержувачів і форматів (CSV/Parquet/JSON) з знеособленням за замовчуванням.
Підпис/хеш кожного архіву, журнал вивантажень.
Шаблони регуляторних звітів: зведення щодо санкцій/РЕР, KYC, AML-алертів, доступів до PII, інцидентів.
15) Вимоги до розробки та експлуатації
Логувати осмислено: ключові дії/рішення, а не весь трафік.
Стандарти рівнів: 'DEBUG'заборонений в prod;'INFO'для бізнес-подій;'WARN/ERROR'для аномалій.
Redaction-middleware: єдиний шар маскування в гейтвеях/SDK.
Тестові середовища: синтетичні дані або псевдонімізація; заборона копій prod-логів в dev.
Релізи: чек-лист логування/маскування в CAB; feature-прапори для розширеного логування.
16) Чек-листи
16. 1 Щотижневий контроль
- Синхронізація часу без дрейфу
- Помилки ingestion <порогу
- Немає прямих PII/секретів в семплах
- Доступи/ролі актуальні
- Успіх ETL ≥ 99%
16. 2 Щомісячний аудит
- Перевірка ретеншну/видалень
- Випадкова вибірка експортів (підпис/хеш ок)
- Рев'ю вендорів (логи доступів, інциденти)
- Оновлення схем/довідників
16. 3 Перед видаленням/архівом
- Немає Legal Hold/інциденту
- Експорт пов'язаних артефактів (якщо потрібно)
- Протокол знищення сформований
17) Інциденти логування (швидкий playbook)
Виявлені PII/секрети в логах → негайно включити redaction-правила, обмежити доступ, запустити очищення/ротацію ключів, оцінити масштаб (DPO/Legal), при необхідності - повідомлення.
Відмова пайплайна логів → перемикання на буферизацію, алерт SRE, рестарт ingestion, пост-мортем.
18) Дорожня карта впровадження
Тижні 1-2: інвентаризація джерел, узгодження термінів, базова матриця ретеншну, схема-як-код.
Тижні 3-4: впровадження маскування/редакції, розділення індексів з PII, NTP/trace-ідентифікатори, WORM для критичних наборів.
Місяць 2: автоматизація видалення/архівації, KRIs/KPIs і алерти, SOAR-плейбуки.
Місяць 3 +: аудит вендорів, оптимізація вартості (tiering), квартальні рев'ю термінів і вимог юрисдикцій.
TL; DR
Єдина політика логів = чітка матриця термінів + маскування і шифрування + RBAC і аудит доступу + WORM/Legal Hold + якість і синхронізація часу. Це скорочує ризики (GDPR/AML/PCI), здешевлює зберігання і прискорює розслідування.