Amallar we Dolandyryş → Metrikleri we SLA barlagy

Metrleriň we SLA barlaglary

1) Bu näme üçin zerur?

Metrikler nädogry bolsa, kararlar nädogry bolar, SLA "kagyz ýüzünde" bozular ýa-da tersine problemalary gizlär. Metrleriň we SLA-nyň barlagy ulanyjylaryň we hyzmatdaşlaryň öňünde wadalaryň deňeşdirilmegini, ygtybarlylygyny we kanuny taýdan goralmagyny kepillendirýär.

• Ýeke-täk "hakykat çeşmesini" (SSOT) we köpeldilýän hasaplamalary üpjün etmek.
• Daşbordlaryň/hasabatlaryň/billingiň arasyndaky tapawudy azaltmak.
• SLA-ny başarnykly we barlanylýan et (evidence-based).
• Ölçeglerdäki zaýalanmalary hyzmatlardaky ýaly ir ýüze çykarmak.

2) Jogapkärçiligiň esasy düşünjeleri we çäkleri

Metrik (metrika): ölçelýän ululyk (RPS, p95, CR, GGR, Success Rate).
KPI/OKR: Metrikler baglanan maksatlar.
SLO: hyzmatyň maksatly hili (mysal üçin "p99 ≤ 400 ms 99. 9% wagt").
SLA: daşarky wada; kanuny taýdan möhüm, SLO esaslanýar.
OLA: toparlaryň/satyjylaryň arasyndaky içerki şertnama, SLA-ny goldaýar.
SSOT: Maglumatlary hasabatlar üçin salgylanma hasaplanýan ulgam/ammar.

3) Metrikleriň taksonomiýasy (gatlaklar)

1. Infrastruktura: CPU/Memory/IO/Net, pod/düwünler, HPA/VPA.
2. Platforma: nobatlar/akymlar (lag, throughput), BD/keşler (konnektler, hit), API (p95/p99, 5xx).
3. Iş akymlary: goýumlar/netijeler, nyrhlar, oýunlaryň başlamagy, ygtyýarnama, KYC.
4. Önüm/marketing: öwrümler, ARPPU/LTV, kampaniýalar.
5. Prosesleriň hili: MTTA/MTTR, Change Failure Rate, çek sahypalaryny ýapmak.

Düzgün: her metrikada gatlak, eýesi we formula bolmaly.

4) Maglumatlaryň çeşmeleri we "hakykat"

Teleemetriýa onlaýn: Prometheus/OTel, Logy (ELK/ClickHouse), Tracking.
Wakalar we buhgalteriýa: Kafka/Outbox, DWH/data-mart (BigQuery/ClickHouse).
El artefaktlary: postmortemler, barlaglar, hadysalaryň sanawy.
Daşarky sanawlar: üpjün edijileriň hasabatlary (PSP/KYC/studiýalar), billing.

Gapma-garşylygy çözmek: "online vs DWH" gapma-garşylygy ýüze çykan halatynda ileri tutulýan düzgün hereket edýär (mysal üçin, SLA üçin - çeşmesi yzarlanylýan DWH agregatlary).

5) Metrikleri barlamak prosesi (dolandyryş kontury)

1. Inwentar: metrikler/SLO/SLA katalogy (ady, eýesi, gatlagy, formulasy, çeşmesi, hasaplama ýygylygy).
2. Formulalary barlamak: SQL/senagat soraglaryny kesgitleme bilen deňeşdirmek (hasaplamalaryň unit-synaglary).
3. Samplirlemek we gaýtadan barlamak: wakalaryň/bloglaryň setirlerini saýlamak we el bilen deňeşdirmek.
4. Konturlary deňeşdirmek: onlaýn daşbordlary we DWH hasabatlaryny deňeşdirmek.
5. Üýtgeşmelere gözegçilik etmek: shemalar/logika goýberilende formulalaryň seslenmegi.
6. SLA barlagy: gurnamalaryň we kadadan çykmalaryň dogrulygyny barlamak (planned maintenance, fors-major).
7. Hasabat we gowulaşmalar: ýüze çykarylan tapawutlaryň we möhletler bilen fiksleriň sanawy.

6) Kesgitlemeler we formulalar (nusgalar)

• `success = requests - (5xx + timeouts + circuit_open)`
• `success_rate = success / requests`

• SSOT-da ýekeje penjire kesgitlemesi (5m/1h rolling) we agregasiýa (HDR/TDigest) ýazylýar.

• 'SLO _ availability _ month = (_ iş wagty - rugsat edilýän _ kadadan çykmalar )/umumy _ wagt'

• `SLA_month = 99. UTC penjiresi boýunça aptaýmyň 90% -i, tranzit operatorlarynda ýüze çykýan betbagtçylyklary subut edýän meýilleşdirilen penjireleri (T-48 habarnamany) hasaba almazdan (resminamalary). "

7) Maglumatlaryň hili: barlaglar we alertler

• Полнота (completeness): `received_events / expected_events ≥ 0. 99`.
• Öz wagtynda (timeliness): ýüklemek gijikdirmesi ≤ N minut.
• Özboluşlylyk (uniqueness): açarlar boýunça goşa bolmazdan (idempotency-key).
• Ylalaşylyk (consistency): jemi/walýuta/alamatlar.
• Çyzykly (monotonicity): Hasaplaýjylar "aýlanmaýar".

ALERT MetricsIngestionLagHigh
IF dwh_ingest_lag_minutes > 15 FOR 10m

ALERT EventsCompletenessDrop
IF (events_received / events_expected) < 0. 99 FOR 15m

ALERT DuplicateEventsSpike
IF rate(events_duplicates_total[10m]) > baseline_7d 2

8) SLA/OLA barlagy: usulyýet

1. Kadadan çykmalar senenamasyny ýygnaň: meýilleşdirilen penjireler, ylalaşylan pese gaçmalar, wendorlaryň hereketleri.
2. Apteými hasaplamak: SSOT-a esaslanýan ýeke-täk wagt zolagy boýunça.
3. Wakalar bilen deňeşdirme: wagt, biletler, postmortemler.
4. Atributiýa: öz şowsuzlyklary, üpjün ediji, tranzit, DDoS, kadalaşdyryjy işler.
5. SLA perimetri: ulanyjy tejribesi (E2E) vs bir aýratyn API.
6. Hasabat: aý/çärýek boýunça hasabat: hakykat, gyşarmalar, öwezini dolmalar (eger ulanylsa), düzediş çäreleri.

9) Hasaplaşyklaryň köpeldilmegini barlamak

Formulalaryň wersiýasy: SQL/PromQL/doc-spesifikasiýalary bolan Git-repozitorium.
Birlik-metrik synaglar: synthetic data (edge-cases: pass, dubli, senäniň çäkleri).
Data lineage: Dashborddan başlangyç tablisalara we wakalara.
Snapshotlar: gaýtadan hasaplamalary deňeşdirmek üçin maglumatlary kesmek üçin doňdurmak.

10) Gözegçilik nusgalary (sampling)

Her gün: Esasy akymlar boýunça 10-20 waka (depozit/stawka/KUS) - DWH marşrutyny el bilen barlamak.
Her hepde: 1% agregatlar boýunça "online vs DWH" deňeşdirmek üçin sampl.
Her aý: SLA effektli hadysalaryň toplumy - jikme-jik rekonstruksiýa.

Date/Window: 2025-10-01.. 2025-10-07
Metric: SLO_api_p99
Source A: Prometheus (rolling 5m)
Source B: DWH snapshot (1h buckets)
Deviation: + 6. 2% (A above B)
Reason: different aggregation windows
Action: align window in both contours to 5m/rolling
Term/Owner: 2025-11-10/squad-observability

11) Daşbordlaryň we duýduryşlaryň barlagy

Metrikleriň bitewi sözlügi: sözlük göni daşbordda.
Relizleriň/wakalaryň düşündirişleri: gyşarmalaryň sebäbini görmek üçin.
"Çykmazdan öň/soň" deňeşdirme: awtomatiki regressiýa panelleri.
Dubli/tapawutlar: "iki dürli p99" - formulalary/penjireleri düzetmek.
Panelleriň elýeterliligi: hukuklar, ätiýaçlyk, salgylanmalara/wersiýalara gözegçilik.

12) Metriklerdäki üýtgeşmeleri dolandyrmak

RFC prosesi: formulanyň/penjiräniň/çeşmäniň üýtgemegi - SLA/hasabatlara täsirine baha bermek bilen RFC arkaly.
Göçmek "expand → migrate → contract": iki wersiýany wagtlaýyn alyp barýarys, deňeşdirýäris, soň köne wersiýany öçürýäris.
Aragatnaşyklar: "täze usul boýunça" gymmatlyklaryň üýtgemegi barada önüme/işe öňünden habar bermek.

13) iGaming/fintech aýratynlyklary

Islegiň iň ýokary derejesi: metrikler partlaýjy ýüklere çydamaly (agregasiýalar "ýapyşmaýar").
Üpjün edijiler: SLA wendorlaryň OLA baglydyr → olaryň hasabatlaryny, hadysalaryň ýagdaýyny we kwotalaryny saklamak.
Bahasy: 'cost _ per _ 1k _ calls' we 'üstünlik bahasy' - hökmany paneller.
Antifrod/töwekgelçilik: metrikanyň gijikdirilmegine we "ýalan işlemegine" duýgurlyk.

14) Auditiň daşbordlary (iň az toplum)

Metrics Health: completeness/timeliness/duplicates, ingest-lag, ошибки ETL.
SLO/SLA Evidence: hasaplanan SLO, hakyky SLA, kadadan çykmalar, hadysalara/hereketlere salgylanmalar.
Online vs DWH Compare: p95/p99/Success Rate, gyşarmalar we tendensiýalar.
Vendor SLA: üpjün edijiler boýunça uptime/kwotalar/taým-autlar/bahasy.
Release Impact: çyzgylar/açylandan soň metrikleriň regressiýasy.

15) Auditiň çek-sanawy (amal)

• Eýeleri we formulalary bolan metrikler/SLO/SLA katalogy möhümdir.
• SSOT her hasabat/panel üçin kesgitlenildi.
• Formulanyň unit-synaglary ýaşyl, hasaplamalaryň paýlaýjylary resminamalaşdyrylýar.
• Maglumatlaryň hili üçin aladalar işjeňdir (completeness/timeliness/duplicates).
• "Online vs DWH" ≤ rugsat edilýän çäk tapawudy (mysal üçin ≤ 2%).
• SLA-nyň ylalaşylan kadadan çykmalary resminamalaşdyryldy we hasabata goşuldy.
• Gözegçilik nusgalary geçirildi we aktlar düzüldi.
• Formuladaky ähli üýtgeşmeler RFC we migrasiýadan geçdi.

16) Mysallar (bölekler)

api_p99_ms:release:ratio =
(api_latency_p99_ms{release="after"} / api_latency_p99_ms{release="before"})

sql
SELECT event_date,
COUNT() AS received,
SUM(expected_count) AS expected,
COUNT()::decimal / NULLIF(SUM(expected_count),0) AS completeness
FROM events
JOIN expected_events USING (event_date, event_type)
WHERE event_type IN ('deposit','bet_placed','kyc_completed')
AND event_date BETWEEN:from AND:to
GROUP BY 1;

ALERT DwhVsOnlineDrift
IF abs(dwh_kpis{metric="api_p99"} - online_kpis{metric="api_p99"}) > 0. 02 online_kpis
FOR 30m
LABELS {severity="warning", team="observability"}

17) Anti-patternler

Dürli panellerde "bir" metrikanyň iki dürli formulasy.
Göçmezden we habarnamasyz metrikany üýtgetmek - OKR/SLA-da "bökmek".
Lokal Excel hasabatlary "hakykat" hökmünde (dikeldip bolmaýar).
SLA hasaplamalarynda wagt zolaklaryny we senenamalary garyşdyrmak.
SLA-nyň kadadan çykmalary dokumentleşdirilmeýär.
Ölçegleriň hili barada hiç hili alert ýok.

18) Ölçegleriň kämillik KPI

Drift Rate Online, DWH (maksat ≤ 2%).
Metrics Health Uptime (ingest/ETL degradasiýasyz wagt).
Time-to-Fix Formula (formuladaky ýalňyşlygy düzetmek wagty).
SLA Dispute Rate (hyzmatdaşlar bilen jedelli ýagdaýlaryň ýygylygy).
Coverage SLO/SLA (resmi suratlandyrylan SLO/SLA bilen kritiki ýollaryň paýy).

19) Rollar we jogapkärçilik

Metrikanyň/hyzmatyň eýesi: formula, çeşme, daşbord, alertler.
Observability/SRE: SSOT/platforma, formula synaglary, maglumatlaryň hiliniň aladalary.
Data/BI: DWH, hasabatyň gaýtalanmagy, lineage.
Aklawçylar/hyzmatdaş-dolandyryjylar: SLA-şertnamalar we kadadan çykmalar.
Waka dolandyryjysy: SLA bilen hadysalaryň atributy we baglanyşygy.

20) Çalt başlamak (30 gün)

1-nji hepde: Metrikleri/SLO/SLA we eýelerini sanamak; SSOT bellemek.
2-nji hepde: Maglumat hiliniň aladalaryny we "Online vs DWH" panelini açyň.
3-nji hepde: Gözegçilik nusgalaryny geçirmek, p95/p99 penjiresini tekizlemek.
4-nji hepde: formulalar üçin RFC prosesini resmileşdirmek, programmalar bilen aýlyk SLA hasabatyny taýýarlamak.

21) FAQ

Q: SLA üçin SSOT näme hasaplamaly?
A: Göçürip bolýan hasaplamalar (DWH) we doly çyzykly ammar; onlaýn paneller - hukuk namalary üçin däl-de, operatiw gözegçilik üçin.

Q: "iki p99" bilen nähili göreşmeli?
A: Metrikler katalogynda penjiräni/agregasiýa usulyny düzetmek, panelleri göçürmek, süýşmek üçin aladalary goşmak.

Q: Meýilleşdirilen işleri nädip göz öňünde tutmaly?
A: Kadadan çykmalar senenamasyny ýöretmek we olary şertnamanyň düzgünleri boýunça awtomatiki usulda SLA-dan aýyrmak; tassyklaýjy artefaktlary saklamak.