Real vaqt monitoringi

(Bo’lim: Operatsiyalar va Boshqaruv)

1) Nima uchun real-time monitoring

• tanqidiy yo’nalishlarning foydalanish imkoniyati va kechikishlari (p50/p95/p99) tezkor ko’rinishi;
• voqealar yaxlitligini nazorat qilish (vebxuklar, to’lovlar, RTP/limitlar);
• moliyaviy himoyalanganlik (egress/1k hodisalar qiymati, kliring/eskrou);
• komplayens (kvitansiya, PII-gigiyena) ga rioya qilish.

2) Arxitektura konturi

1. Producers: servislar, SDK, edge-uzellar, to’lov/kontent provayderlari.

2. Ingest-shlyuzlar: qabul qilgichlar’metrics/traces/logs/events’s backpressure va kvotalar.

3. Shina/striming: partiyalashgan broker (tenant/region/route), replay uchun retenshn.

4. Stream-processing: deraza agregatsiyalari (T + 5s/T + 1m), dedup, vaqtni normallashtirish, SLI hisoblash.

5. Omborlar: time-series (tezkor), OLAP (tarix), WORM-jurnallar (audit).

6. Tahlil va alerting: SLO qoidalari, statistik detektorlar, anomalist.

7. Dashbordlar va runalar: Harakatlar uchun UI (pause/re-route/rollback/raise-limit).

• Data contracts metrik/hodisa (sxemalar, versiyalar, validatsiya).
• Domen voqealarini kafolatlangan nashr qilish uchun Outbox/CDC.
• Idempotency va dedup’trace _ id/event _ id’.
• Clock sync: NTP/PTP,’skew’tuzatish, vaqt sharsharalari (event vs processing time).

3) Telemetriya va semantika turlari

Metrics (SLI): hisoblagichlar/geyjlar/p-persentil gistogrammalari.
Traces:’trace _ id/span _ id’orqali, RPC vebxki voqealari.
Logs: strukturalangan, s’tenant _ id/region/version’.
Business events: `PaymentAuthorized`, `WebhookDelivered`, `RTPWindowClosed`.
Receipts: kvitansiyalar/imzolar (moliyaviy/tanqidiy operatsiyalar uchun).

4) Vaqt va derazalar

Vaqt turlari: event-time, ingest-time, processing-time.
Derazalar: sirpanish (5-30 s), tumbler (1-5 min), kech hodisalar uchun suv kechikishi (watermark).
Ixchamlik: gistogrammalarning eskizlarini yig’ing → faqat kerakli parsentil binlarni saqlang.

5) Ma’lumotlarni normallashtirish va sifati

Kirish validatsiyasi: sxema/diapazonlar/majburiy maydonlar; rad etilganlar - sabablari belgi qo’yilgan holda karantinga kiritiladi.
Deduplikatsiya: po’(event_id, producer, seq)’; «seen-cache» ni + KV xotirasida saqlang.
Metriklarni tuzatish: «double count» va «flatline» ga qarshi (sensorlar jim).
Samplash: high-QPS uchun - moslashuvchan, xatolik bilan; tanqidiy SLI - to’liq.

6) SLI/SLO (referens)

North Star: E2E Success Rate - hududlar boʻyicha maqsadli p95.

• per-kanal/mintaqa.
• Asosiy yo’nalishlar bo’yicha latentlik p50/p95/p99.
• Error-rate/Retry-rate.
• Vebxuklarni yetkazib berish muvaffaqiyati (kvitansiyalar bilan tasdiqlangan%).
• Narxlar/soliqlar konsistentligi (’quote = = checkout’, ± 1 minor unit).
• Cost-SLI: 1k hodisaning qiymati, egress/ingress birligiga.

• Foydalanish imkoniyati ≥ 99. 28 kunlik derazada 95%.
• p95: vitrin ≤ 120 ms, quote/checkout ≤ 250 ms.
• Vebxuklar muvaffaqiyatli ≥ 99. 5 %/5 daqiqalik oyna.
• Δ quote↔checkout = 0 (±1 minor unit).
• P1 ≤ 10 min., MTTR ≤ 60 min.

7) Alerting va runes (auto-actions)

Darajalar: P1 (SLOning buzilishi/chiqimsizlik), P2 (degradatsiya), P3 (trend/xavf).
Shovqinni kamaytirish:’trace _ id’bo’yicha dedup, sabab-oqibat zanjirlarining korrelyatsiyasi.

• «PriceMismatch» → katalog refresh, solishtirish’fx _ version/tax _ rule _ version’, kompensatsiya siyosati;
• «WebhookLag» → vorkerlarni qayta joylashtirish, batchlarni ko’paytirish, navbatlarni ustuvorlashtirish;
• «RTP Drift» → promo pauza, to’lov jadvalini/versiyasini tekshirish, profil qaytishi;
• «Egress Surge» → kompresssiya/kesh-pinning/muqobil yo’nalishni o’z ichiga oladi.
• Eskalatsiyalar: matritsalar 24 × 7, on-call rotatsiyalar, kanallar (chat/qo’ng’iroq/SMS).

8) Dashbordlar (operativ vidjetlar)

Platforma salomatligi: qulaylik, p95/p99, error-rate, burn-down error-budjet.
Integratsiya/vebxuklar: muvaffaqiyat, lag, dubli/idempotentlik, kvitansiyalar.
Checkout/narxlar: vitrin farqlari, FX/Tax versiyalari, rad-keyslar.
RTP/limitlar: teor. vs observed RTP, ishga tushirish limitlari, ekspozitsiya.
FinOps: cost per 1k, egress/ingress, budjetlar/kap-alertlar.
Security/Compliance: SoD, JIT, MFA, PII soʻrovlari, krit imzolari. operatsiyalar.
Release/Flags: fich maqomi, kanar mintaqalari, hodisalar bilan bog’lanish.

9) Multiregion va multi-tenant

«tenant/region» bo’yicha partiyalashtirish.
Hududlar bo’yicha mustaqil SLO/kvotalar; kross-mintaqaviy alertlarni cheklash (mahalliy nosozlik butun dunyoni «bo’yab qo’ymasligi» uchun).
Ma’lumotlarning ishonch zonalari: PII/moliya - faqat ruxsat etilgan joylarda; umumiy dashbordda - agregatlar/xeshlar.

10) Xavfsizlik, maxfiylik, isbotlanuvchanlik

Ingest autentifikatsiyasi: kalitlar/mutual-TLS, rate-limits, paket imzolari.
PII minimallashtirish: boshlang’ich o’rniga tokenlar, niqob/xesh identifikatorlari.
Kvitansiyalar (receipts): Moliyaviy/tanqidiy voqealar uchun DSSE/imzolar.
WORM-jurnallar: audit uchun o’zgarmas loglar, Merkle-seslar.
Access Control: RBAC/ABAC/ReBAC, sezgir panellar uchun JIT.

11) Anomalist va korrelyatsiyalar

Guardrails: SLI boʻyicha statik chegaralar.
Statistika: trendlar uchun Shewhart/CUSUM/EWMA.
ML/signallar: mavsumiylik/kanallar/ASN/provayderlar; relizlar/fizeflaglar ta’siri.
Korrelyatsiyalar: hodisalarni relizlar, konfiguratsiyalar o’zgarishi, trafikning ko’tarilishi, aksiyalar bilan bog’lang.

12) Unumdorlik va qiymat

Telemetriya budjeti: QPS uchun cap/hajm; «og’zaki» metriklarni rad etish.
Qisqartma/agregatsiyalar: downsampling tarixi (1s → 10s → 1min), pertsentil eskizlarni saqlang.
Egress-nazorat: lokal keshlar/agregatlar, edge-pre-ishlov berish.
Cost-aware alertasi: agar/1k hodisa yoki egress qiymati rejadan chiqib ketsa, signal.

13) Integratsiya va API kontraktlari

’POST/ingest/metrics’ (JSON/OTLP): autentifikatsiya, kvotalar, sxema/versiya.
’POST/ingest/events’ (imzolangan): dedup/TTL/nonce.
`GET /kpis? filters = region, tenant, route’- UI uchun agregatlar.
’GET/traces/{ trace _ id}’ - zanjirni ochish.
Вебхуки: `IncidentRaised`, `QuotaCapReached`, `PriceMismatch`, `WebhookLag`, `RTPDrift`.

14) Hodisalar pleybuklari (short-form)

P1 Foydalanish imkoniyati ↓: routingni o’zgartirish, circuit-breakers-ni yoqish, mijozlarning taymautlarini kamaytirish, status to’g’risidagi favqulodda post.
P1 Quote ≠ Checkout: freeze promo/narx dinamikasi, keshning fors-nogironligi, FX/Tax versiyalarini taqqoslash, kompensatsiyalar.
P1 WebhookLag: hunarmandchilik/raqobatbardoshlik, batch oʻlchamini oshirish, ahamiyatsiz vebxuklarni oʻchirish.
P2 RTP Drift: bonuslar pauzasi, toʻlov/versiya jadvallarini tekshirish, kuzatuv oynasini kengaytirish, hisobot.
P2 Egress Surge: siqish, edge-kesh, trafikning bir qismi, vaqtinchalik kvotalar.

15) Monitoring sifatining o’zi metrikasi

UI/API foydalanish imkoniyati ≥ 99. 9%.
Freshness: operativ panellar uchun 30 s ≤ yangilanish muddati.
Completeness: ≥ 99. Manbalarning 5 foizi oynaga maʼlumot yubordi.
Korrectness: etalon bilan tafovut ≤ 0. 1%.
MTTA/MTTR alert-payplayn: P1 ≤ 1/10 min.

16) Joriy etish chek-varaqasi

• Mintaqalar/kanallar bo’yicha North Star va SLI/SLO to’plamini aniqlash.
• Barcha telemetriya oqimlari uchun data contracts va sxemalarni kiritish.
• Ingestni kvotalar, backpressure va dedup bilan moslash.
• Shina/striming va deraza agregatsiyalarini watermarks bilan kengaytirish.
• Time-series/OLAP/WORM va kvitansiyalar bilan bog’lanish.
• Alert + avto-run, 24 × 7 eskalatsiya matritsasini ishga tushiring.
• SRE/Product/FinOps/Compliance/Partners rollari bo’yicha dashbordlarni shakllantirish.
• PII-minimallashtirish, imzolar va RBAC/ABAC/ReBACni kiritish.
• FinOps-metriklar (cost/1k, egress, saqlash) va qopqoqlarni kiriting.
• GameDay o’tkazish: vebxuk lag, narxlar rasinxron, retray-burst, mintaqa rad.

17) iGaming/fintech bilan bog’lash

RTP & Limits: kuzatilayotgan RTP va limitlarni daqiqa/soatda nazorat qilish, alertlar «over/under pay» da.
To’lovlar/to’lovlar: avtorizatsiya, kliring va kvitansiyalarning uzluksiz izlanishi; SLA PSP.
Affiliates: yetkazib berish konversiya (vebxuki) va sporlar → eskrou/solishtirma.
Promo: trafik portlashlari → navbatlarni himoya qilish va egress narxi; guardrails budjetlarga.

18) FAQ

Real-time hamma joyda majburiymi?
Yo’q. «Issiq» konturlar - soniya/daqiqa (hodisalar, to’lovlar, vebxuklar). Iqtisodiyot/tahlil - daqiqa/soat.

Soxta tashvishlarga qarshi qanday kurashish mumkin?
SLO-yo’naltirilgan shartlar, «trace _ id» bo’yicha agregatsiya va dedup, relizlar bilan korrelyatsiya, chegaralar gisterezisi.

Hamma narsalarni abadiy saqlash kerakmi?
Yo’q. WORM - faqat audit/tanqidiy oqimlar uchun; qolganlari - downsampling/TTL.

Nima uchun «quote ≠ checkout» mavjud?
FX/Tax versiyasi, kesh nogironligi, yaxlitlash. Versiyalari, SWR strategiyasi va konsistensiya testlari bilan davolanadi.

Xulosa: Real vaqt monitoringi - bu intizom: qat’iy ma’lumotlar kontraktlari, deraza hisoblari, normal vaqt, kvitansiyalar va SLO-alertlar bilan bog’lanish, shuningdek har bir vidjetdagi harakat tugmasi. Buni to’g’ri amalga oshirsangiz, siz MTTRni qisqartirasiz, byudjetni nazorat ostida ushlab turasiz va ekotizimni mintaqalar va tenantlar bo’yicha ishonchli ravishda kengaytirasiz.