Інструменти для аудиту та логування

1) Навіщо це потрібно

• Простежуваність дій (хто/що/коли/звідки/чому).
• Швидкі розслідування інцидентів і форензика.
• Відповідність вимогам регуляторів і замовників.
• Управління ризиками і зниження MTTR при інцидентах.
• Підтримка моделей ризику, антифроду, комплаєнсу (KYC/AML/RTBF/Legal Hold).

• Повнота покриття джерел.
• Незмінюваність і цілісність записів.
• Стандартизовані схеми подій.
• Пошукова доступність і кореляція.
• Мінімізація персональних даних і контроль приватності.

2) Ландшафт інструментів

2. 1 Менеджмент логів та індексація

Збір/агенти: Fluent Bit/Fluentd, Vector, Logstash, Filebeat/Winlogbeat, OpenTelemetry Collector.
Сховище та пошук: Elasticsearch/OpenSearch, Loki, ClickHouse, Splunk, Datadog Logs.
Стрімінг/шини: Kafka/Redpanda, NATS, Pulsar - для буферизації та фан-ауту.
Парсинг і нормалізація: Grok/regex, OTel processors, Logstash pipelines.

2. 2 SIEM/Detect & Respond

SIEM: Splunk Enterprise Security, Microsoft Sentinel, Elastic Security, QRadar.
UEBA/поведінковий аналіз: вбудовані модулі в SIEM, ML-детектори.
SOAR/оркестрація: Cortex/XSOAR, Tines, Shuffle - автоматизація плейбуків.

2. 3 Аудит і незмінюваність

Аудит підсистем: Linux auditd/ausearch, Windows Event Logs, DB-аудит (pgAudit, MySQL audit), Kubernetes Audit Logs, CloudTrail/CloudWatch/Azure Monitor/GCP Cloud Logging.
Незмінне зберігання: WORM-бакети (Object Lock), S3 Glacier Vault Lock, write-once volumes, журналювання з криптопідписом/ланцюжком хешів.
TSA/часові мітки: прив'язка до NTP/PTP, періодичне анкерування хешів в зовнішньому довіреному часі.

2. 4 Спостережуваність і трасування

Метрики/трейси: Prometheus + Tempo/Jaeger/OTel, кореляція логів ↔ трасувань по trace_id/span_id.
Дашборди та алерти: Grafana/ Kibana/ Datadog.

3) Джерела подій (скоуп покриття)

Інфраструктура: ОС (syslog, auditd), контейнери (Docker), оркестрація (Kubernetes Events + Audit), мережеві пристрої, WAF/CDN, VPN, IAM.
Додатки та API: API-шлюз, сервіс-меш, веб-сервери, бекенди, черги, планувальники, вебхуки.
БД і сховища: запити, DDL/DML, доступ до секретів/ключів, доступ до об'єктного сховища.
Платіжні інтеграції: PSP/еквайринг, chargeback-івенти, 3DS.
Операції та процеси: входи в консолі/CI/CD, адмін-панелі, зміни конфігурацій/фічфлагів, релізи.
Безпека: IDS/IPS, EDR/AV, сканери вразливостей, DLP.
Призначені для користувача події: автентифікація, спроби входу, зміна KYC-статусу, депозити/висновки, ставки/ігри (з анонімізацією при необхідності).

4) Схеми даних і стандарти

Єдина модель події: `timestamp`, `event. category`, `event. action`, `user. id`, `subject. id`, `source. ip`, `http. request_id`, `trace. id`, `service. name`, `environment`, `severity`, `outcome`, `labels.`.
Стандарти схем: ECS (Elastic Common Schema), OCSF (Open Cybersecurity Schema Framework), OpenTelemetry Logs.
Кореляційні ключі: `trace_id`, `session_id`, `request_id`, `device_id`, `k8s. pod_uid`.
Якість: обов'язкові поля, валідація, дедуплікація, семплювання для «галасливих» джерел.

5) Архітектурний референс

1. Збір на нодах/агентах →

2. Пре-процесинг (парсинг, PII-редакція, нормалізація) →

3. Шина (Kafka) з ретеншном ≥ 3-7 днів →

• Оперативне сховище (пошук/кореляція, гаряче зберігання 7-30 днів).
• Незмінний архів (WORM/Glacier 1-7 років для аудиту).
• SIEM (детекція та інциденти).
• 5. Дашборди/пошук (операції, безпека, комплаєнс).
• 6. SOAR для автоматизації реакцій.

• Hot: SSD/індексація, швидкий пошук (оперативне реагування).
• Warm: компресія/менш частий доступ.
• Cold/Archive (WORM): дешеве довготривале зберігання, але незмінне.

6) Незмінюваність, цілісність, довіра

WORM/об'єкт-лок: блокування видалення і модифікації на термін політики.
Криптопідпис і ланцюжок хешів: по батчам/чанкам логів.
Hash-анкеринг: періодична публікація хешів у зовнішньому реєстрі або довіреному часі.
Синхронізація часу: NTP/PTP, моніторинг дрейфу; запис'clock. source`.
Контроль змін: чотириокі/dual control для політик retention/Legal Hold.

7) Приватність і комплаєнс

Мінімізація PII: зберігати тільки необхідні поля, редагувати/маскувати в ingest.
Псевдонімізація: `user. pseudo_id', зберігання маппінгу окремо і обмежено.
GDPR/DSAR/RTBF: класифікація джерел, кероване логічне видалення/приховування в репліках, виключення для юридичних обов'язків зберігання.
Legal Hold: мітки «freeze», призупинення видалення в архівах; журнал дій навколо Hold.
Маппінг на стандарти: ISO 27001 A.8/12/15, SOC 2 CC7, PCI DSS Req. 10, локальні регуляції ринків.

8) Оперування та процеси

8. 1 Плейбуки/Runbooks

Втрата джерела: як виявити (heartbeats), як відновити (replay з шини), як компенсувати пропуски.
Зростання затримок: перевірка черг, шардинг, індекси, backpressure.
Розслідування події X: шаблон KQL/ES-query + зв'язка з трейсовим контекстом.
Legal Hold: хто ставить, як знімає, як документується.

8. 2 RACI (коротко)

R (Responsible): Observability-команда за збір/доставку; SecOps за правила детекції.
A (Accountable): CISO/Head of Ops за політики і бюджет.
C (Consulted): DPO/Legal для приватності; Архітектура для схем.
I (Informed): Саппорт/Продукт/Ризик-менеджмент.

9) Метрики якості (SLO/KPI)

Coverage: % критичних джерел підключено (мета ≥ 99%).
Ingest lag: p95 затримка доставки (<30 сек).
Indexing success: частка подій без помилок парсингу (> 99. 9%).
Search latency: p95 <2 сек на типові запити 24h вікна.
Drop rate: втрата подій <0. 01%.
Alert fidelity: Precision/Recall за правилами, частка фальш-позитивів.
Cost per GB: вартість зберігання/індексу за період.

10) Політики зберігання (приклад)

Політики уточнюються Legal/DPO і локальними регуляціями.

11) Детекція та алерти (скелет)

• Підозріла автентифікація (неможливе переміщення, TOR, часті помилки).
• Ескалація привілеїв/ролей.
• Зміни конфігурацій/секретів поза графіком релізу.
• Аномальні патерни транзакцій (AML/антифрод сигнали).
• Масові вивантаження даних (DLP-тригери).
• Відмовостійкість: шквал 5xx, деградація latency, багаторазові рестарти pod'ів.

• Збагачення гео/IP-репутацією, прив'язка до релізів/фічфлагів, зв'язка з трасами.

12) Безпека доступу до логів

RBAC і сегрегація обов'язків: окремі ролі для читачів/аналітиків/адмінів.
Just-in-time доступ: тимчасові токени, аудит всіх читань «чутливих» індексів.
Шифрування: in-transit (TLS), at-rest (KMS/CMK), ізоляція ключів.
Секрети та ключі: ротація, обмеження експорту подій з PII.

13) Дорожня карта впровадження

1. Каталог джерел + мінімальна схема (ECS/OCSF).

2. Агент на нодах + OTel Collector; централізований парсинг.

3. Сховище Hot (OpenSearch/Elasticsearch/Loki) + дашборди.

4. Базові алерти (аутентифікація, 5xx, зміни конфігів).

5. Архів в Object Storage з об'єкт-локом (WORM).

• Kafka як шина, реплеї, ретрай-черги.
• SIEM + перші кореляційні правила, SOAR-плейбуки.
• Криптопідпис батчів, анкеринг хешів.
• Політики Legal Hold, DSAR/RTBF процедури.

• UEBA/ML-детекція.
• Каталогування подій (Data Catalog), lineage.
• Оптимізація вартості: семплювання «галасливих» логів, tiering.

14) Часті помилки і як їх уникнути

Лог-шум без схеми: → ввести обов'язкові поля і семплінг.
Немає трасувань: → впровадити trace_id в кор-сервіси та проксі.
Єдиний «моноліт» логів: → розділити по доменах і рівнях критичності.
Відсутність незмінності: → включити WORM/Object Lock і підпис.
Секрети в логах: → фільтри/редактори, сканери токенів, рев'ю.

15) Чек-лист запуску

• Реєстр джерел з пріоритетом критичності.
• Єдина схема і валідатори (CI для парсерів).
• Агентська стратегія (daemonset в k8s, Beats/OTel).
• Шина і ретеншн.
• Гаряче/холодне/архівне зберігання + WORM.
• RBAC, шифрування, журнал доступу.
• Базові алерти і плейбуки SOAR.
• Дашборди для Ops/Sec/Compliance.
• Політики DSAR/RTBF/Legal Hold.
• KPI/SLO + бюджет на зберігання.

16) Приклади подій (спрощено)

json
{
"timestamp": "2025-10-31T19:20:11.432Z",
"event": {"category":"authentication","action":"login","outcome":"failure"},
"user": {"id":"u_12345","pseudo_id":"p_abcd"},
"source": {"ip":"203.0.113.42"},
"http": {"request_id":"req-7f91"},
"trace": {"id":"2fe1…"},
"service": {"name":"auth-api","environment":"prod"},
"labels": {"geo":"EE","risk_score":72},
"severity":"warning"
}

17) Глосарій (коротко)

Audit trail - послідовність незмінних записів, що фіксує дії суб'єкта.
WORM - режим зберігання «записав-одного разу, прочитав-багатораз».
SOAR - автоматизація реагування на інциденти по плейбуках.
UEBA - аналіз поведінки користувачів і сутностей.
OCSF/ECS/OTel - стандарти схем логів і телеметрії.

18) Підсумок

Система аудиту і логування - це не «стек логів», а керована програма з чіткою схемою даних, незмінним архівом, кореляцією і плейбуками реакції. Дотримання принципів з цієї статті підвищує спостережуваність, прискорює розслідування і закриває ключові вимоги Операцій і Комплаєнса.