Журналдар мен хаттамаларды жүргізу

1) Журналдар мен хаттамалар не үшін қажет

Журналдар - ұйымның «қара жәшігі»: олар аудиттер мен тергеулер үшін дәлелдемелерді (evidence) қамтамасыз етеді, операциялық және реттеуші тәуекелді төмендетеді, оқиғалардың барысын қалпына келтіруге және саясаттың орындалуын растауға мүмкіндік береді (access, ретенция, шифрлау, KYC/AML, PCI және т.б.).

• Әрекеттерді трассалау (кім/не/қашан/қайда/неліктен/немен).
• Тосын оқиғаларды анықтау және тежеу (детективтік және алдын алу бақылаулары).
• Реттеушілер/аудиторлар үшін дәлелдеу базасы (immutability).
• SLA/SLO өнімділігі мен сәйкестігін талдау.

2) Логтардың таксономиясы (ең аз қамту)

Қолжетімділіктер және сәйкестіктер (IAM/IGA): аутентификация, рөлдерді өзгерту, SoD, JIT-қолжетімділіктер.
Инфрақұрылым/бұлт/IaC: API-шақырулар, конфигурациялық дрейф, KMS/HSM-оқиғалар.
Қосымшалар/бизнес: транзакциялар, PI/қаржымен операциялар, сұрау салулардың өмірлік циклі (DSAR).
Қауіпсіздік: IDS/IPS, EDR, DLP/EDRM, WAF, осалдықтар/патчтар, антивирус.
Желі: firewall, VPN/Zero Trust, прокси, DNS.
CI/CD/DevSecOps: құрастыру, деплой, SAST/DAST/SCA, құпия-сканер.
Деректер/талдау: lineage, витриналарға кіру, жасыру/анонимдеу.
Операциялар: ITSM/тикеттер, инциденттер, change-management, DR/BCP тестілері.
Вендорлар/3rd-party: вебхактар, SSO федерациясы, SLA оқиғалары.

3) Нормативтік талаптар (бағдарлар)

GDPR/ISO 27701: PI ең аз/бүркемелеу, кесте бойынша ретенция, Legal Hold, DSAR-трасса.
SOC 2/ISO 27001: аудит-трейлер, логтарға қолжетімділікті бақылау, бақылаулардың орындалуының дәлелдемелері.
PCI DSS: орта/карта деректеріне қолжетімділікті логикалау, журналдардың тұтастығы, күнделікті шолу.
AML/KYC: тексерулердің трассалануы, санкциялық/РЕР-скрининг, STR/SAR хаттамалары.

4) Логикалаудың референс-сәулеті

1. Producers: бағдарламалар, бұлт, желі, хост агенттері.
2. Шина/коллекторлар: back-pressure, retry, TLS mTLS, дедупликация арқылы қабылдау.
3. Қалыпқа келтіру: бірыңғай формат (JSON/OTel), байыту (tenant, user, geo, severity).

• Ыстық (іздеу/SIEM): 7-30 күн, жылдам қолжетімділік.
• Суық (объектілік): айлар/жылдар, арзан сақтау.
• evidence мұрағаты (WORM/Object Lock): өзгермеушілік, хеш-түбіртектер.
• 5. Тұтастығы және қолы: хеш тізбектері/меркли-ағаш/уақытша белгілер.
• 6. Қолжетімділік және қауіпсіздік: RBAC/ABAC, юрисдикциялар бойынша сегменттеу, кейс-негізделген қолжетімділік.
• 7. Талдау және алерта: SIEM/SOAR, correlation ID, playbooks.
• 8. Каталогтар мен схемалар: оқиғалар түрлерінің тізілімі, versioning, схемалар тестілері.

5) Код сияқты саясат (YAML мысалдары)

Ретенция және Legal Hold

yaml id: LOG-RET-001 title: "Access logs retention"
scope: ["iam. ","app. access"]
retention:
hot_days: 30 cold_days: 365 worm_years: 3 legal_hold: true # when Legal Hold is active, block privacy removal:
pii_mask: ["email","phone","ip"]
review: "annual"

Тұтастығы және қолы

yaml id: LOG-INT-001 title: "Signature and commercial fixation"
hashing: "SHA-256"
anchor:
cadence: "hourly"
store: "s3://evidence/anchors"
verification:
schedule: "daily"
alert_on_failure: true

6) Журналдардың сапасына қойылатын талаптар

Құрылымдылығы: «шикі» мәтінсіз тек JSON/OTel.
Уақытты үндестіру: NTP/PTP, drift бақылау; 'timestamp', 'received _ at' жазуы.
Correlation IDs: 'trace _ id', 'span _ id', 'request _ id', 'user _ id' (бүркеншік ат).
Өрістердің семантикасы: сөздік (data dictionary) және тестілер схемасының келісімшарты.
Локализация/тіл: өрістер - ағылшын кілттері, мәндер - біріздендірілген (enum).
Көлемі және дроп-саясаты: бақылаусыз соқпаққа тыйым салу; тәуекел бойынша кезек/квота/семплинг.
Сезімтал деректер: бүркемелеу/токенизациялау; құпияларды/карталарды тұтастай сақтауға тыйым салу.

7) Жекешелендіру және барынша азайту

PII-гигиена: мәндердің орнына хэштерді/белгілерді логикалаймыз; email/телефон/IP үшін қатаң маска.
Мәтінмәндер: payload бағдарламасына негізсіз дербес деректермен жазылмайды.
Юрисдикциялар: ел бойынша сақтау және қол жеткізу (data residency), көшірмелердің трассалануы.
DSAR: іздеу белгілері және кейс бойынша экспорттау; деперсонализацияланған есептерді басып шығару мүмкіндігі.

8) Өзгермеушілік және дәлелдемелер (immutability)

WORM/Object Lock: кезеңде өшіруге/қайта жазуға тыйым салу.
Криптографиялық қолы: батчалардың қолы; күнделікті анкерингі бар меркли-тамырлар.
Сақтау тізбегі (chain of custody): қол жеткізу журналы, хеш-түбіртектер, есептердегі квоталар.
Верификация: тұтастығын мерзімді тексеру және синхронсыздандыру туралы хабарлау.

9) Логтарға кіруді басқару

RBAC/ABAC: «оқу/тек іздеу» рөлдері vs «экспорт/шаринг».
Case-based access: сезімтал логтарға қол жеткізу - тек тергеу/тикет шеңберінде.
Құпиялар/кілттер: KMS/HSM; ротация, split-knowledge, dual-control.
Қол жеткізу аудиті: жеке журнал «кім қандай логтарды оқыды» + ауытқулардағы алерттар.

10) Метрика және SLO логикалау

Ingestion Lag: қабылдауды кешіктірудің 95-перцентилі (мақсаты ≤ 60 сек).
Drop Rate: жоғалған оқиғалардың үлесі (0-мақсат; алерт> 0. 001%).
Schema Compliance: схема валидациясынан өткен оқиғалар% (≥ 99. 5%).
Coverage: орталықтандырылған логтау жүйелерінің% -ы (≥ 98% сыни).
Integrity Pass: хеш тізбектерін сәтті тексеру (100%).
Access Review: құқықтарды ай сайын жарнамалау, кешіктіру - 0.
PII Leak Rate: табылған «таза» PI (0 критикалық мақсат).

11) Дашбордтар (ең аз жиынтық)

Ingestion & Lag: көлем/жылдамдық, лаг, drop, «ыстық» көздер.
Integrity & WORM: анкеринг, верификация, Object Lock күйі.
Security Events: сыни корреляциялар, MITRE-карта.
Access to Logs: кім және не оқыды/экспорттады; аномалиялар.
Compliance View: ретенция/Legal Hold мәртебесі, аудит бойынша есептер, DSAR-экспорт.
Schema Health: парсинг/схема нұсқаларының қателері, ескірген агенттердің үлесі.

12) SOP (стандартты рәсімдер)

SOP-1: Логин көзін қосу

1. Көз мен сындылықты тіркеу → 2) Схеманы таңдау/OTel → 3) TLS/mTLS, токендер →

2. Стейджингтегі dry-run (схемаларды валидациялау, PII-маскалар) → 5) прод. →

3. каталогтарға/дашбордтарға қосу → 7) ретенцияны/WORM тексеру.

SOP-2: Оқиғаға жауап (evidence сияқты журналдар)

Detect → Triage → Логтарды жинау (case-scope) → Мұздату (Legal Hold) →

Хеш-фиксация және анкеринг → Аналитика/таймлайн → Есеп және CAPA → Сабақ релизі.

SOP-3: Рег-сұрау/аудит

1. Сұрау ID бойынша кейс пен сүзгілерді ашу → 2) қажетті форматқа экспорттау →

2. верификация Legal/Compliance → 4) хеш-сводка → 5) жіберу және журналдау.

SOP-4: Логтарды тексеру

Иелерін ай сайынғы аттестаттау; «жетім қалған» құқықтарды автоматты түрде тексеру; SoD бойынша есеп.

13) Пішімдер мен мысалдар

Қатынау оқиғасының мысалы (JSON)

json
{
"ts": "2025-10-31T13:45:12. 345Z",
"env": "prod",
"system": "iam",
"event": "role_grant",
"actor": {"type": "user", "id": "u_9f1...", "tenant": "eu-1"},
"subject": {"type": "user", "id": "u_1ab..."},
"role": "finance_approver",
"reason": "ticket-OPS-1422",
"ip": "0. 0. 0. 0",
"trace_id": "2a4d...",
"pii": {"email": "hash:sha256:..."},
"sign": {"batch_id":"b_20251031_13","merkle_leaf":"..."}
}

Детекция ережесі (псевдо-Rego)

rego deny_access_if_sod_conflict {
input. event == "role_grant"
input. role == "finance_approver"
has_role(input. subject. id, "vendor_onboarder")
}

14) Рөлдер және RACI

15) Вендорлар мен жеткізу тізбегін басқару

Шарттарда: логтардың аудит құқығы, форматтар, сақтау және қол жеткізу SLA, WORM/immutability.
Субпроцессорлар: көздер тізілімі және «өтпелі» ретенция.
Экспорт/оффбординг: жойылғанын растау және хеш-мәліметтер есебі.

16) Антипаттерндер

Схемасыз және корреляциясыз «еркін мәтіндегі» логтар.
WORM және хеш-фиксациясыз сақтау - аудиттегі дау.
«Қалай болса да» журналындағы сезімтал деректер.
Уақыт пен қалыпты trace_id үндестірілмеген.
Жүктеменің шыңдары кезіндегі оқиғаларды жою; back-pressure болмауы.
Кейс-бақылаусыз логтарға әмбебап қол жеткізу.
Қайта аттестациясыз логтарды оқуға «мәңгілік» құқықтар.

17) Чек парақтары

Логин функциясын іске қосу

• Көздердің таксономиясы мен сындылығы анықталды.
• Ретенция/Legal Hold схемалары мен саясаты декларацияланған (as-code).
• TLS/mTLS, токендер, автоматты жаңартылған агенттер.
• PII маскалар/токендер сынақтан өткізілді.
• WORM/Object Lock және анкеринг қосылған.
• Дашбордтар/алерттар/метриктер ашылды.
• Рұқсатты тексеру және SoD теңшелген.

Аудит/рег-сұрау алдында

• «audit pack» жиналды: схемалар, саясаттар, тұтастық есептері, іріктемелер.
• Кезең ішінде integrity және қатынас жұрналын тексеру.
• DSAR/Legal Hold мәртебесі расталды.
• Жүкті түсіру және жөнелтуді растау туралы хеш-мәліметтер қалыптастырылды.

18) Жетілу моделі (M0-M4)

M0 Қолмен: бөлек логтар, схемалар мен ретенциялар жоқ.
M1 Орталықтандырылған жинау: базалық іздеу, ішінара таксономия.
M2 Басқарылатын: схемалар және саясат-код, дашбордтар, ретенция/WORM.
M3 Интеграцияланған: OTel-трассировка, SOAR, анкеринг/меркли, case-based access.
M4 Assured: «кнопка бойынша audit-ready», болжамды детекциялар, тұтастықты автоматты бақылау және заңдық маңызы бар түбіртектер.

19) Байланысты wiki баптары

Үздіксіз сәйкестік мониторингі (CCM)

KPI және комплаенс өлшемдері

Legal Hold және деректерді мұздату

Саясаттар мен рәсімдердің өмірлік циклі

Комплаенс-шешімдер коммуникациясы

Комплаенс саясатындағы өзгерістерді басқару

Due Diligence және аутсорсинг тәуекелдері

Жиынтығы

Логистің күшті функциясы - бұл «хабарламалар қоймасы» емес, басқарылатын жүйе: құрылымдалған оқиғалар, қатаң схемалар мен ретенциялар, өзгермеушілік және қолтаңба, әдепкі құпиялылық, қолжетімділікті қатаң бақылау және дәлелдемелерге репликация. Мұндай жүйе тергеуді жылдам, аудитті болжамды, ал тәуекелдерді басқарылатын етеді.