Bloglary merkezleşdirmek

1) Näme üçin loglary merkezleşdirmeli?

• wakalaryň köklerini tapmagy çaltlaşdyrýar (request-id/trace-id);
• alamatlara (ýalňyşlyklar, anomaliýalar) signal alertlerini gurmaga mümkinçilik berýär;
• audit-yzyny berýär (kim/haçan/näme etdi);
• retensiýany birleşdirmek we saklamak arkaly bahany peseldýärler.

2) Esasy ýörelgeler

1. Diňe gurluş loglary (JSON/RFC5424) - açarsyz "erkin tekst" ýok.
2. Açarlaryň ýeke-täk shemasy: 'ts, level, service, env, region, tenant, , , (masked), msg, kv...'.
3. Adaty baglanyşyk: trace_id gatewaydan arka taraplara we girelgelere zyňyň.
4. Iň az ses: dogry derejeler, sempling, gaýtalanmalaryň de-duplikasiýasy.
5. Howpsuzlyk by design: PII-maskalanma, RBAC/ABAC, üýtgemezlik.
6. Ykdysadyýet: hot/warm/cold, gysyş, agregasiýa, TTL we rehydration.

3) Nusgawy arhitektura

EFK/ELK: (Fluent Bit/Fluentd/Filebeat) → (Kafka — опц.) → (Elasticsearch/OpenSearch) → (Kibana/OpenSearch Dashboards). Ähliumumy gözleg we agregasiýa.
Loki-meňzeş (bellikler boýunça log indeksasiýasy): Promtail/Fluent Bit → Loki → Grafana. Uly göwrümler üçin arzan, güýçli label-süzgüç + çyzykly görmek.
Bulutlar: CloudWatch/Cloud Logging/Log Analytics + sowuk ammara (S3/GCS/ADLS) we/ýa-da SIEM-e eksport.
Data Lake çemeleşmesi: şipperler → obýekt saklaýyş (parquet/iceberg) → soňky N gün üçin arzan analitik soraglar (Athena/BigQuery/Spark) + onlaýn gatlak (OpenSearch/Loki).

Maslahat: prod-onkoll üçin onlaýn gatlagy (7-14 gün gyzgyn) we arhiw gatlagyny (aýlar/ýyllar) rehydrate mümkinçiligi bilen lake saklamak.

4) Loglaryň shemasy we görnüşi (maslahat)

json
{
"ts":"2025-11-01T13:45:12.345Z",
"level":"ERROR",
"service":"payments-api",
"env":"prod",
"region":"eu-central",
"tenant":"tr",
"trace_id":"0af7651916cd43dd8448eb211c80319c",
"span_id":"b7ad6b7169203331",
"request_id":"r-7f2c",
"user_id":"",        // masked
"route":"/v1/payments/charge",
"code":"PSP_TIMEOUT",
"latency_ms":1200,
"msg":"upstream PSP timeout",
"kv":{"provider":"psp-a","attempt":2,"timeout_ms":800}
}

Standartlar: Wagt üçin RFC3339, 'TRACE/DEBUG/INFO/WARN/ERROR/FATAL' toplumyndan level, snake_case açarlar.

5) Logirleme we sempling derejeleri

DEBUG - diňe dev/stage; baýdak boýunça we TTL bilen.
INFO - haýyşlaryň/wakalaryň durmuş sikli.
WARN - SLO-a täsir etmezden şübheli ýagdaýlar.
ERROR/FATAL - haýyşa/ulanyja täsiri.

• rate-limit (mysal üçin 1/sek/açar).
• tail-sempling trassalary (diňe "erbet" soraglar üçin doly giriş/söwda goýuň).
• dinamiki: ýalňyşlyklar tupan wagtynda jikme-jiklikleri azaltmak, jemleri saklamak.

6) Loglary eltip bermek (agentler we şipperler)

Düwünde: Fluent Bit/Filebeat/Promtail stdout faýllary/jurnallary ýygnaýar, parsing, maskalanma, buferizasiýa edýär.
Tor nobatlary: Zirveleri, retraýlary tekizlemek we tertiplemek üçin Kafka/NATS.
Ygtybarlylygy: backpressure, disk buferleri, gowşuryş tassyklamalary (at-least-once), idempotent indeksleri (açar-heş).
Gyradaky süzgüç: tora girmezden ozal "gepleşikleri" we syrlary taşlamak.

7) Indeksirlemek we saklamak

Wagt boýunça partiýa ýerleşdirmek (daily/weekly) + 'env/region/tenant' (indeks-şablonlar ýa-da bellikler arkaly).

• Hot (SSD, 3-14 gün): çalt gözleg we aladalar.
• Warm (HDD/doňduryjy, 30-90 gün): käwagt gözleýäris.
• Cold/Archive (obýekt, aýlar/ýyllar): gabat gelmek we seýrek barlaglar.
• Gysmak we aýlanmak: ILM/ISM (durmuş sikli syýasaty), gzip/zstd, downsampling (agregasiýa tablisalary).
• "Rehydration": derňew üçin arhiw bölümlerini "gyzgyn" klastere wagtlaýyn ýüklemek.

8) Gözlemek we seljermek: adaty haýyşlar

Waka: süzgüç × 'service =...' × 'level> = ERROR' × 'trace _ id '/' request _ id'.
Üpjün edijiler: 'code: PSP _' we 'kv. provider: psp-a 'sebit boýunça topar.
Anomaliýalar: habar ýygylygynyň ýokarlanmagy ýa-da meýdan paýlanyşynyň üýtgemegi (ML-detektorlar, rule-based).
Audit: 'category: audit' + 'actor '/' resource' + netije.

9) Metrler we ýollar bilen baglanyşyk

Birmeňzeş kesgitleýjiler: 'trace _ id/span _ id' ähli üç signalda (metrikler, loglar, treýslar).
Grafiklerden linkler: p99 panelinden 'trace _ id' -e geçmek.
Relizleriň düşündirişleri: çalt baglanyşyk üçin metriklerde we ýazgylarda wersiýalar/kanareýkalar.

10) Howpsuzlyk, PII we gabat gelmek

Meýdanlaryň klassifikasiýasy: PII/syrlar/maliýe - girelgede gizlemek ýa-da aýyrmak (Fluent Bit/Lua-süzgüçler, Re2).
RBAC/ABAC: rollar boýunça indekslere/belliklere girmek, row-/field-level-security.
Audit we düzgünleşdirijileriň talaplary üçin üýtgemezlik (WORM/append-only).
Retensiýa we "ýatdan çykarmak hukugy": TTL/açarlar boýunça aýyrmak, 'user _ id' tokenizasiýasy.
Gollar/heşler: kritiki žurnallaryň bitewiligi (administratiw hereketler, tölegler).

11) SLO we loglaryň paýpline metrikleri

Eltip bermek: 99. 9% gyzgyn gatlakdaky wakalar ≤ 30-60 sek.
Ýitgiler: <0. 24 sagat segmentinde 01% (gözegçilik bellikleri boýunça).
Gözleg elýeterliligi: ≥ 99. 28 günde 9%.
Soraglaryň gizlinligi: p95 ≤ 2-5 sek.
Bahasy: $/1M wakalar we $/GB gatlaklarda saklamak.

12) Daşbordlar (iň az)

Paýlaýnyň saglygy: şipperleriň girişi/çykyşy, retralar, buferleri doldurmak, lag Kafka.
Services/kodlar boýunça ýalňyşlyklar: top-N, trendler, percentili 'latency _ ms'.
Audit-işjeňlik: administratiw hereketler, provaýder ýalňyşlyklary, elýeterlilik.
Ykdysadyýet: göwrüm/gün, indeks-ösüş, gatlaklar boýunça bahasy, "gymmat" haýyşlar.

13) Amallar we pleýbuklar

Bloglaryň tupany: agentde agressiw sempling/rate-limit açyň, buferleri galdyryň, akymyň bir bölegini wagtlaýyn warm-a geçiriň.
Shemanyň süýşmegi: täze açarlaryň/görnüşleriň peýda bolmagy üçin alert, shemalary utgaşdyrmak (schema-catalog).
Haýal gözlemek: indeksleri gaýtadan ýygnamak, sözleri köpeltmek, "agyr" haýyşlary seljermek, köne partiýalary arhiwlemek.
Howpsuzlyk hadysasy: üýtgemezligiň derrew açylmagy, artefaktlaryň düşürilmegi, rollara girmegiň çäklendirilmegi, RCA.

14) FinOps: bloglarda nädip bankrot bolmaly däl

Sözlemi aýyryň: köp satrly stacktrace-i 'stack' meýdanyna öwüriň we gaýtalamalary düzüň.
TTL-i açyň: 'env '/' level '/' category' üçin dürli.
Seýrek giriş üçin Loki/Archive + on-demand rehydrate ulanyň.
Partiýa we gysyş: uly partiýa arzan, ýöne SLA gözlegine gözegçilik ediň.
Köplenç seljeriş hasabatlaryny (gündelik agregatlary) materiallaşdyryň.

15) Instrumental mysallar

Fluent Bit (gizlemek we OpenSearch-a ibermek)

ini
[INPUT]
Name       tail
Path       /var/log/app/.log
Parser      json
Mem_Buf_Limit   256MB

[FILTER]
Name       modify
Match
Remove_key    credit_card, password

[OUTPUT]
Name       es
Host       opensearch.svc
Port       9200
Index       logs-${tag}-${date}
Logstash_Format  On
Suppress_Type_Name On

Nginx access log в JSON с trace_id

nginx log_format json escape=json '{ "ts":"$time_iso8601","remote":"$remote_addr",'
'"method":"$request_method","path":"$uri","status":$status,'
'"bytes":$body_bytes_sent,"ua":"$http_user_agent","trace_id":"$http_trace_id"}';
access_log /var/log/nginx/access.json json;

OpenSearch ILM syýasaty (hot → warm → delete)

json
{
"policy": {
"phases": {
"hot":  { "actions": { "rollover": { "max_age": "7d", "max_size": "50gb" } } },
"warm": { "min_age": "7d", "actions": { "forcemerge": { "max_num_segments": 1 } } },
"delete":{ "min_age": "90d", "actions": { "delete": {} } }
}
}
}

16) Girizmegiň çek-sanawy

• Meýdanlaryň shemasy we ýazgylaryň derejesi kabul edildi; trace/request-id baglanyşygy açyldy.
• Gizlemek we buferler bilen agentler (Fluent Bit/Promtail) sazlandy.
• Onlaýn gatlak (OpenSearch/Loki/Cloud) we arhiw (S3/GCS + parquet) saýlandy.
• ILM/ISM + hot/warm/cold retensiýa syýasaty, rehydrate prosesi.
• RBAC/ABAC, audit üçin üýtgemezlik, giriş magazineurnaly.
• Paýlaýnyň daşbordlary, ýitgiler üçin aladalar/lag/disk buferleri.
• Oýun kitaplary: tupan, süýşýän shema, haýal gözleg, howpsuzlyk hadysasy.
• Maliýe çäkleri: $/1M wakalar, "gymmat" haýyşlar üçin kwotalar.

17) Anti-patternler

Gurluşsyz tekst ýazgylary → süzüp we jemläp bilmezlik.
Äpet stacktrace in INFO → Göwrümiň partlamasy.
Korrelýasiýanyň ýoklugy → Ähli hyzmatlar boýunça "titremek".
"Hemme zady hemişelik" saklamak → uçar ýaly bulut üçin hasap.
Syr/PII girelgelerde → complayens-töwekgelçilikler.
Önümdäki indeksleri el bilen düzetmek → süýşmek we gözlegiň uzak wagtlap dowam etmegi.

18) Jemleýji

Bloglaryň merkezleşdirilmegi diňe bir yığını däl, ulgamdyr. Standartlaşdyrylan shema, baglanyşyk, howpsuz şipperler, gatlakly saklamak we berk giriş syýasaty loglary SRE, howpsuzlyk we önüm üçin güýçli gurala öwürýär. Dogry retensler we FinOps býudjeti saklaýar, SLO paýlaýjylary we pleýbuklary derňewi çalt we köpeldip bolýar.