Аудит және логингке арналған құралдар

1) Бұл не үшін қажет

• Әрекеттердің қадағалануы (кім/не/қашан/қайдан/неге).
• Оқыс оқиғаларды жедел тексеру және форензия.
• Реттеушілер мен тапсырыс берушілердің талаптарына сәйкестігі.
• Оқиғалар кезінде тәуекелдерді басқару және MTTR төмендету.
• Тәуекел, антифрод, комплаенс модельдерін қолдау (KYC/AML/RTBF/Legal Hold).

• Көздерді жабудың толықтығы.
• Жазбалардың өзгермейтіндігі және тұтастығы.
• Оқиғалардың стандартталған схемалары.
• Іздеу қолжетімділігі және корреляция.
• Дербес деректерді барынша азайту және құпиялылықты бақылау.

2) Аспаптар ландшафты

2. 1 Логтар менеджменті және индекстеу

Сбор/агенты: Fluent Bit/Fluentd, Vector, Logstash, Filebeat/Winlogbeat, OpenTelemetry Collector.
Сақтау және іздеу: Elasticsearch/OpenSearch, Loki, ClickHouse, Splunk, Datadog Logs.
Стриминг/шиналар: Kafka/Redpanda, NATS, Pulsar - буферизация және фан-аута үшін.
Парсинг және қалыпқа келтіру: Grok/regex, OTel processors, Logstash pipelines.

2. 2 SIEM/Detect & Respond

SIEM: Splunk Enterprise Security, Microsoft Sentinel, Elastic Security, QRadar.
UEBA/мінез-құлық талдауы: SIEM, ML детекторларына енгізілген модульдер.
SOAR/оркестрі: Cortex/XSOAR, Tines, Shuffle - плейбуктерді автоматтандыру.

2. 3 Аудит және өзгермейтін

Аудит подсистем: Linux auditd/ausearch, Windows Event Logs, DB-аудит (pgAudit, MySQL audit), Kubernetes Audit Logs, CloudTrail/CloudWatch/Azure Monitor/GCP Cloud Logging.
Өзгермейтін сақтау: WORM-бакеттер (Object Lock), S3 Glacier Vault Lock, write-once volumes, крипто қолтаңбамен/хэш тізбегімен журналдау.
TSA/уақыт белгілері: NTP/PTP байланыстыру, сыртқы сенімді уақыттағы хэштерді мезгіл-мезгіл анықтау.

2. 4 Бақылау және трассалау

Метриктер/трестер: Prometheus + Tempo/Jaeger/OTel, trace_id/span_id бойынша трассировкалардың логтарын кореляциялау.
Дашбордтар мен алерталар: Grafana/Kibana/Datadog.

3) Оқиға көздері (жабынды сатып алу)

Инфрақұрылым: ОС (syslog, auditd), контейнерлер (Docker), оркестрлеу (Kubernetes Events + Audit), желілік құрылғылар, WAF/CDN, VPN, IAM.
Қосымшалар мен API: API-шлюз, сервис-мэш, веб-серверлер, бэкендтер, кезектер, жоспарлаушылар, вебхактар.
ДБ және сақтау орны: сұраулар, DDL/DML, құпия/кілттерге қатынау, нысанды сақтау орнына қатынау.
Төлем интеграциясы: PSP/эквайринг, chargeback-ивенттер, 3DS.
Операциялар мен процестер :/CI/CD консолдарына кіру, әкімші панельдер, конфигурация/фичфлагтарды өзгерту, релиздер.
Қауіпсіздік: IDS/IPS, EDR/AV, осалдықтар сканерлері, DLP.
Пайдаланушы оқиғалары: аутентификация, кіру әрекеттері, KYC-мәртебесін ауыстыру, депозиттер/қорытындылар, мөлшерлемелер/ойындар (қажет болған жағдайда анонимдеумен).

4) Деректер схемалары және стандарттар

Оқиғаның бірыңғай моделі: 'timestamp', 'event. category`, `event. action`, `user. id`, `subject. id`, `source. ip`, `http. request_id`, `trace. id`, `service. name`, `environment`, `severity`, `outcome`, `labels.`.
Стандарты схем: ECS (Elastic Common Schema), OCSF (Open Cybersecurity Schema Framework), OpenTelemetry Logs.
Корреляциялық кілттер: 'trace _ id', 'session _ id', 'request _ id', 'device _ id', 'k8s. pod_uid`.
Сапасы: міндетті өрістер, валидация, дедупликация, «шулы» көздер үшін тұқымдастыру.

5) Сәулеттік референс

1. Нод/агенттердегі алым →

2. Пре-процессинг (парсинг, PII-редакция, қалыпқа келтіру) →

3. Шина (Kafka) ретеншн ≥ 3-7 күн →

• Жедел сақтау орны (іздеу/корреляция, ыстық сақтау 7-30 күн).
• Өзгермейтін мұрағат (аудит үшін WORM/Glacier 1-7 жыл).
• SIEM (детекция және инциденттер).
• 5. Дашбордтар/іздестіру (операциялар, қауіпсіздік, комплаенс).
• 6. Реакцияларды автоматтандыру үшін SOAR.

• Hot: SSD/индекстеу, жылдам іздеу (жедел әрекет ету).
• Warm: компрессия/аз жиі қатынау.
• Cold/Archive (WORM): арзан ұзақ мерзімді сақтау, бірақ өзгермейтін.

6) Өзгермеушілік, тұтастық, сенім

WORM/Lock нысаны: саясат мерзіміне жою мен түрлендіруді бұғаттау.
Криптоподпись және хэша тізбегі: батам/чанк лог бойынша.
Hash-анкеринг: хэштерді сыртқы тізілімде немесе сенімді уақытта мерзімді жариялау.
Уақытты үндестіру: NTP/PTP, дрейф мониторингі; 'clock. source`.
Өзгерістерді бақылау: retention/Legal Hold саясаттары үшін төрт көзді/екі көзді бақылау.

7) Құпиялылық және комплаенс

PII минимизациясы: тек қажетті өрістерді сақтау, ingest ішінде өңдеу/жасыру.
Бүркеншік атау: 'user. pseudo_id', маппингті жеке және шектеулі сақтау.
GDPR/DSAR/RTBF: көздердің жіктелуі, басқарылатын логикалық жою/репликаларда жасыру, заңды сақтау міндеттері үшін ерекшеліктер.
Legal Hold: «freeze» белгілері, мұрағаттарда жоюды тоқтата тұру; Hold айналасындағы әрекеттер журналы.
ISO 27001 A.8/12/15, SOC 2 CC7, PCI DSS Req. 10. нарықтарды жергілікті реттеу.

8) Операция жасау және процестер

8. 1 Playbook/Runbooks

Дереккөзді жоғалту: қалай анықтау (heartbeats), қалай қалпына келтіру (шинадан replay), ауытқуларды қалай өтеу.
Кідірістердің өсуі: кезектерді тексеру, шардинг, индекстер, backpressure.
X оқиғасын тексеру: KQL/ES-query үлгісі + трейс контекспен байланысу.
Legal Hold: кім қояды, қалай түсіреді, қалай құжатталады.

8. 2 RACI (қысқаша)

R (Responsible): Observability-жинау/жеткізу командасы; Detection ережелері үшін SecOps.
A (Accountable): Саясат және бюджет үшін CISO/Head of Ops.
C (Consulted): құпиялылық үшін DPO/Legal; Схемалардың архитектурасы.
I (Informed): Саппорт/Өнім/Тәуекел-менеджмент.

9) Сапа өлшемдері (SLO/KPI)

Coverage: сыни көздердің% қосылған (мақсаты ≥ 99%).
Ingest lag: p95 жеткізу кідірісі (<30 сек).
Indexing success: парсинг қатесіз оқиғалар үлесі (> 99. 9%).
Search latency: p95 <24h терезенің типтік сұрауларына 2 сек.
Drop rate: оқиғаларды жоғалту <0. 01%.
Alert fidelity: Precision/Recall ережелері бойынша, жалған позитивтердің үлесі.
Cost per GB: кезең үшін сақтау/индекс құны.

10) Сақтау саясаты (мысал)

Саясат Legal/DPO және жергілікті реттеулермен нақтыланады.

11) Детекция және алерталар (скелет)

• Күдікті аутентификация (орын ауыстыру мүмкін емес, TOR, жиі қателер).
• Артықшылықтар/рөлдердің күшеюі.
• Шығару кестесінен тыс теңшелімдерді/құпияларды өзгерту.
• Транзакциялардың аномальды үлгілері (AML/антифрод сигналдары).
• Деректерді жаппай түсіру (DLP-триггерлер).
• Істен шығуға төзімділік: 5xx шквалы, latency деградациясы, pod 'лардың бірнеше рет қайта қаралуы.

• Гео/IP-беделін байыту, релиздерге/фичфлагтарға байланыстыру, трассалармен байланыстыру.

12) Логтарға қол жеткізу қауіпсіздігі

RBAC және міндеттерді сегрегациялау: оқырмандар/талдаушылар/әкімшілер үшін жеке рөлдер.
Just-in-time қолжетімділік: уақытша токендер, «сезімтал» индекстердің барлық оқылымдарының аудиті.
Шифрлау: in-transit (TLS), at-rest (KMS/CMK), кілттерді оқшаулау.
Құпиялар мен кілттер: ротация, PII оқиғалардың экспортын шектеу.

13) Енгізу жол картасы

1. Дереккөздер каталогы + Ең аз схема (ECS/OCSF).

2. Нод агенті + OTel Collector; орталықтандырылған парсинг.

3. Hot сақтау орны (OpenSearch/Elasticsearch/Loki) + дашбордтар.

4. Базалық алерттар (аутентификация, 5xx, конфигурацияларды өзгерту).

5. Object Storage ішіндегі Lock Object (WORM) мұрағаты.

• Kafka - шина, реплея, ретрай-кезек сияқты.
• SIEM + бірінші корреляциялық ережелер, SOAR-плейбуктер.
• Криптоподпись батчей, анкеринг хэш.
• Legal Hold, DSAR/RTBF рәсімдері.

• UEBA/ML-детекция.
• Оқиғаларды каталогтау (Data Catalog), lineage.
• Құнды оңтайландыру: «шулы» логтарды семплеу, tiering.

14) Жиі қателер және оларды болдырмау

Схемасыз лог-шу: → міндетті өрістер мен семплингті енгізу.
Трассировка жоқ: → trace_id кор-сервистер мен проксидерге енгізу.
Логтардың бірыңғай «монолиті»: → домендер мен сындылық деңгейлері бойынша бөлу.
Өзгермейтін жоқ: → WORM/Object Lock және қолтаңбаны қосу.
Журналдағы құпиялар: → сүзгілер/редакторлар, токендер сканерлері, ревью.

15) Ұшырудың чек-парағы

• Сындылық басымдығы бар көздер тізілімі.
• Бірыңғай схема және валидаторлар (парсерлер үшін CI).
• Агенттік стратегия (k8s-те daemonset, Beats/OTel).
• Шина және ретеншн.
• Ыстық/суық/мұрағаттық сақтау + WORM.
• RBAC, шифрлау, кіру журналы.
• SOAR базалық алерттары мен плейбуктері.
• Ops/Sec/Compliance үшін дашбордтар.
• DSAR/RTBF/Legal Hold саясаты.
• KPI/SLO + сақтау бюджеті.

16) Оқиғалар мысалдары (оңайлатылған)

json
{
"timestamp": "2025-10-31T19:20:11.432Z",
"event": {"category":"authentication","action":"login","outcome":"failure"},
"user": {"id":"u_12345","pseudo_id":"p_abcd"},
"source": {"ip":"203.0.113.42"},
"http": {"request_id":"req-7f91"},
"trace": {"id":"2fe1…"},
"service": {"name":"auth-api","environment":"prod"},
"labels": {"geo":"EE","risk_score":72},
"severity":"warning"
}

17) Глоссарий (қысқаша)

Audit trail - субъектінің әрекетін тіркейтін өзгермейтін жазбалардың бірізділігі.
WORM - сақтау режимі «бір рет жазды, көп тілді оқыды».
SOAR - плейбуктер бойынша тосын оқиғаларға ден қоюды автоматтандыру.
UEBA - пайдаланушылар мен заттардың мінез-құлқын талдау.
OCSF/ECS/OTel - логтар мен телеметрия схемаларының стандарттары.

18) Қорытынды

Аудит және логизация жүйесі - бұл «логтардың стегі» емес, деректердің нақты схемасы, өзгермейтін мұрағаты, корреляциясы және реакцияның плейбуктері бар басқарылатын бағдарлама. Осы баптан қағидаттарды сақтау бақылануды арттырады, тергеуді жеделдетеді және Операциялар мен Комплаенстің негізгі талаптарын жабады.