Логдорду борборлоштуруу

1) Эмне үчүн борборлоштуруу Логи

• инциденттердин тамырын издөөнү тездетет (request-id/trace-id боюнча корреляция);
• симптомдорго (каталар, аномалиялар) сигналдык алерталарды курууга мүмкүндүк берет;
• аудит-из (ким/качан/эмне кылган);
• ретенцияны унификациялоо жана сактоо аркылуу наркын төмөндөтүшөт.

2) Негизги принциптер

1. Гана структураланган Логи (JSON/RFC5424) - эч кандай "эркин текст" ачкычтары жок.
2. Бирдиктүү ачкыч схемасы: 'ts, level, service, env, region, tenant, , , (masked), msg, kv...'.
3. Демейки корреляция: trace_id gateway from backends жана логиге ыргытып.
4. Минималдуу ызы-чуу: туура деңгээл, семплинг, кайталанма.
5. Коопсуздук by design: PII-маска, RBAC/ABAC, өзгөрүлбөстүгү.
6. Экономика: Hot/warm/cold, кысуу, топтоо, TTL жана rehydration.

3) Типтүү архитектура

EFK/ELK: (Fluent Bit/Fluentd/Filebeat) → (Kafka — опц.) → (Elasticsearch/OpenSearch) → (Kibana/OpenSearch Dashboards). Универсалдуу издөө жана агрегация.
Loki окшош (белгилер боюнча логикалык индекстөө): Promtail/Fluent Bit → Loki → Grafana. Чоң көлөмдөр үчүн арзан, күчтүү этикетка чыпкасы + сызыктуу көрүү.
Булуттар: CloudWatch/Cloud Logging/Log Analytics + муздак сактагычка (S3/GCS/ADLS) жана/же SIEMге экспорт.
Data Lake мамиле: shippers → объект сактоо (parquet/iceberg) → арзан аналитикалык суроолор (Athena/BigQuery/Spark) + онлайн катмары (OpenSearch/Loki) акыркы N күн үчүн.

Сунуш: прод-онкол үчүн онлайн катмарын (7-14 күн hot) жана архивдик (ай/жыл) rehydrate мүмкүнчүлүгү менен lake.

4) Логдордун схемасы жана форматы (сунуш)

json
{
"ts":"2025-11-01T13:45:12.345Z",
"level":"ERROR",
"service":"payments-api",
"env":"prod",
"region":"eu-central",
"tenant":"tr",
"trace_id":"0af7651916cd43dd8448eb211c80319c",
"span_id":"b7ad6b7169203331",
"request_id":"r-7f2c",
"user_id":"",        // masked
"route":"/v1/payments/charge",
"code":"PSP_TIMEOUT",
"latency_ms":1200,
"msg":"upstream PSP timeout",
"kv":{"provider":"psp-a","attempt":2,"timeout_ms":800}
}

Стандарттар: убакыт үчүн RFC3339, топтомдон level 'TRACE/DEBUG/INFO/WARN/ERROR/FATAL', snake_case ачкычтары.

5) Логинг жана семплинг деңгээл

DEBUG - гана dev/этап; желеги боюнча жана TTL менен.
INFO - суроо-талаптардын/окуялардын жашоо цикли.
WARN - SLO таасир жок шектүү жагдайлар.
ERROR/FATAL - суроо/колдонуучунун таасири.

• кайталануучу каталар үчүн rate-limit (мисалы, 1/сек/ачкыч).
• tail-sampling жолдору (гана "жаман" суроолор үчүн толук логин/соода калтыруу).
• динамикалык: каталардын бороон-чапкынында деталдаштырууну азайтуу, кыскача сактоо.

6) жүктөрдү жеткирүү (агенттер жана shippers)

түйүн боюнча: Fluent Bit/Filebeat/Promtail stdout файлдарды/журналдарды чогултуп, парсинг, маскировка, буферизация жасашат.
Network кезектери: Kafka/NATS чокуларын тегиздөө, ретрациялоо жана иреттөө үчүн.
Ишенимдүүлүк: backpressure, диск буферлери, жеткирүү ырастоолору (at-least-once), демпотенттик индекстер (ачкыч-хеш).
Четте чыпкалоо: тармакка киргенге чейин "сүйлөшүүнү" жана сырларды алып салуу.

7) Индекстөө жана сактоо

Убакыт боюнча партиялаштыруу (daily/weekly) + боюнча 'env/region/tenant' (индекс-шаблондор же лейблдер аркылуу).

• Hot (SSD, 3-14 күн): тез издөө жана Алерт.
• Warm (HDD/тоңдургуч, 30-90 күн): кээде издеп.
• Cold/Archive (объект, ай/жыл): комплаенс жана сейрек иликтөө.
• Кысуу жана айлануу: ILM/ISM (жашоо саясаты), gzip/zstd, downsampling (агрегациялык таблицалар).
• Rehydration: тергөө үчүн "ысык" кластерге архивдик партияларды убактылуу жүктөө.

8) Издөө жана талдоо: типтүү суроолор

Окуя: убакыт чыпкасы × 'service =...' × 'level> = ERROR' × 'trace _ id '/' request _ id'.
Провайдерлер: 'code: PSP _' жана 'kv. provider: psp-a 'аймак боюнча топтоо менен.
Аномалиялар: билдирүүлөрдүн жыштыгын жогорулатуу же талаа бөлүштүрүүнү өзгөртүү (ML-детекторлор, rule-негизделген).
Аудит: 'category: audit' + 'actor '/' resource' + натыйжасы.

9) Метриктер жана трассалар менен байланыш

Бирдей идентификаторлор: 'trace _ id/span _ id' бардык үч сигналдарда (метриктер, логилер, соодалар).
Графиктерден шилтемелер: p99 панелинен 'trace _ id' логдоруна чыкылдатуу.
Релиздердин аннотациялары: версиялар/канареялар тез байланыш үчүн метриктер менен логдордо.

10) Коопсуздук, PII жана комплаенс

Талаа классификациясы: PII/Secrets/Finance - кире бериште жашыруу же алып салуу (Fluent Bit/Lua-Filters, Re2).
RBAC/ABAC: ролдору боюнча индекстерге/лейблдерге жетүү, row-/field-level-security.
Өзгөрбөстүк (WORM/append-only) аудит жана жөнгө салуучу талаптар үчүн.
Retence жана "унутуу укугу": TTL/ачкычтар боюнча алып салуу, токенизациялоо 'user _ id'.
Кол тамгалар/хэштер: критикалык журналдардын бүтүндүгү (административдик аракеттер, төлөмдөр).

11) SLO жана пайплайн Логин Метрика

Жеткирүү: 99. 9% ысык катмардагы окуялар ≤ 30-60 сек.
Жоготуулар: <0. 24 саат сегментинде 01% (контролдук белгилер боюнча).
Издөө мүмкүнчүлүгү: ≥ 99. 9% 28 күндүн ичинде.
Суроо-талаптын латенттүүлүгү: типтүү чыпкалар боюнча p95 ≤ 2-5 сек.
Баасы: $/1M окуялар жана $/сактоо/GB катмарлары боюнча.

12) Dashbord (минималдуу)

Pipeline ден соолук: кирүү/чыгуу shipper, retry, толтуруу буферлер, лаг Kafka.
Кызматтар/коддор боюнча каталар: Top-N, тренддер, percentili 'latency _ ms'.
Аудит-активдүүлүк: административдик аракеттер, провайдердик каталар, жеткиликтүүлүк.
Экономика: көлөм/күн, индекс-өсүш, катмарлар боюнча наркы, "кымбат" суроо.

13) Операциялар жана плейбуктар

Бороон-чапкын: агент боюнча агрессивдүү семплинг/rate-лимитти күйгүзүү, буферлерди көтөрүү, агымдын бир бөлүгүн убактылуу warm.
Drift схемалар: жаңы ачкычтар/түрлөрү пайда Алерт, макулдашуу схемалар ишке киргизүү (schema-catalog).
Жай издөө: индекстерди кайра чогултуу, репликаларды көбөйтүү, "оор" суроо-талаптарды талдоо, эски партияларды архивдөө.
Коопсуздук инциденти: өзгөрбөстүктү дароо күйгүзүү, артефакттарды түшүрүү, ролдорго жетүүнү чектөө, RCA.

14) FinOps: кантип уяларда банкрот

Берилгендикти алып салыңыз: 'stack' талаасына көп саптуу stacktrace айлантыңыз жана кайталоолорду кайталаңыз.
TTL киргизүү: үчүн ар кандай 'env '/' level '/' category'.
Loki/Archive + on-demand rehydrate сейрек пайдалануу.
Партия жана кысуу: чоң партия арзан, бирок SLA издөө артынан.
Материалдык тез-тез аналитикалык отчетторду (күнүмдүк агрегаттар).

15) Аспаптык мисалдар

Fluent Bit (жашыруу жана OpenSearch жиберүү)

ini
[INPUT]
Name       tail
Path       /var/log/app/.log
Parser      json
Mem_Buf_Limit   256MB

[FILTER]
Name       modify
Match
Remove_key    credit_card, password

[OUTPUT]
Name       es
Host       opensearch.svc
Port       9200
Index       logs-${tag}-${date}
Logstash_Format  On
Suppress_Type_Name On

Nginx access log в JSON с trace_id

nginx log_format json escape=json '{ "ts":"$time_iso8601","remote":"$remote_addr",'
'"method":"$request_method","path":"$uri","status":$status,'
'"bytes":$body_bytes_sent,"ua":"$http_user_agent","trace_id":"$http_trace_id"}';
access_log /var/log/nginx/access.json json;

OpenSearch ILM саясаты (hot → warm → delete)

json
{
"policy": {
"phases": {
"hot":  { "actions": { "rollover": { "max_age": "7d", "max_size": "50gb" } } },
"warm": { "min_age": "7d", "actions": { "forcemerge": { "max_num_segments": 1 } } },
"delete":{ "min_age": "90d", "actions": { "delete": {} } }
}
}
}

16) Киргизүү чек-тизмеси

• Талаалардын схемасы жана логдордун деңгээли кабыл алынган; trace/request-id корреляциясы киргизилген.
• Атайын агенттер (Fluent Bit/Promtail) маска жана буферлер менен.
• онлайн катмар тандалып алынган (OpenSearch/Loki/булут) жана архив (S3/GCS + parquet).
• ILM/ISM + hot/warm/cold, rehydrate жараяны.
• RBAC/ABAC, аудит үчүн өзгөрүлбөстүк, кирүү журналы.
• Dashbord Paypline, жоготуу/лаг/диск буферлери үчүн тынчсыздануулар.
• Playbook: бороон-чапкын, схемалар, жай издөө, коопсуздук-окуя.
• Каржылык чеги: $/1M окуялар, "кымбат" суроо-квота.

17) Анти-үлгүлөрү

түзүмү жок текст Логи → чыпкалоо жана бириктирүү мүмкүн эмес.
INFO → көлөмү жарылуу ири stacktrace.
Байланыштын жоктугу → Бардык кызматтар боюнча "титиреп".
Сактоо "баары түбөлүккө" → учак сыяктуу булут үчүн эсеп.
Сырлар/PII → комплаенс тобокелдиктер.
Кол менен түзөтүүлөр → дрейф жана издөөнүн узакка созулган үзгүлтүктөрү.

18) Жыйынтык

Логдорду борборлоштуруу - бул жөн эле стек эмес, система. Стандартташтырылган схема, корреляция, коопсуз шыпыргылар, катмар сактоо жана катуу кирүү саясаты логиндерди SRE, коопсуздук жана продукт үчүн күчтүү куралга айландырат. Туура Retents жана FinOps бюджетти сактайт, ал эми SLO Pipline жана Playbook тергөөлөрдү тез жана ойнотулат кылат.