Hakyky wagt gözegçiligi

(Bölüm: Amallar we Dolandyryş)

1) Näme üçin real-time gözegçilik

• möhüm ugurlaryň elýeterliliginiň we gijikdirilmeginiň (p50/p95/p99) derrew görünmegi;
• wakalaryň bitewiligine gözegçilik etmek (webhuklar, tölegler, RTP/çäkler);
• maliýe goragy (egress/bahasy 1k waka, kliring/eskrou);
• komplayensiň (kwitansiýanyň, PII-arassaçylygyň) berjaý edilmegi.

2) Binagärlik kontury

1. Producers: hyzmatlar, SDK, edge-düwünler, töleg/mazmun üpjün edijileri.

2. Ingest-şlýuzlar: kabul edijiler 'metrics/traces/logs/events' bilen backpressure we kwotalar.

3. Teker/akym: partiýa ýerleşdirilen broker (tenant/region/route), replay üçin retenşn.

4. Akym-prosessing: penjire agregasiýalary (T + 5s/T + 1m), deadup, wagtyň kadalaşmagy, SLI hasaplamasy.

5. Ammar: time-series (operasiýa), OLAP (taryh), WORM-magazinesurnallar (audit).

6. Analitika we alerting: SLO düzgünleri, statistik detektorlar, anomalist.

7. Dashbordlar we Runes: Hereketler üçin UI (pause/re-route/rollback/raise-limit).

• Metriklere/wakalara data contracts (shemalar, wersiýalar, tassyklama).
• Domen wakalaryny kepillendirilen neşir etmek üçin Outbox/CDC.
• Idempotency we dedup 'trace _ id/event _ id'.
• Clock sync: NTP/PTP, 'skew' düzediş, wagt şarlawuklary (waka vs processing time).

3) Telemetriýanyň we semantikanyň görnüşleri

Metrics (SLI): p-percentile hasaplaýjylary/geji/gistogrammalary.
Traces: içinden 'trace _ id/span _ id', RPC, webhuk wakalary.
Logs: gurluş, c 'tenant _ id/region/version'.
Business events: `PaymentAuthorized`, `WebhookDelivered`, `RTPWindowClosed`.
Receipts: kwitansiýalar/gollar (maliýe/möhüm amallar üçin).

4) Wagt we penjireler

Wagt görnüşleri: event-time, ingest-time, processing-time.
Penjireler: süýşýän (5-30 c), tumbler (1-5 minut), giç wakalar üçin suwuň gijikdirilmegi (watermark).
Ykjam: akymda jemläň (gistogrammalaryň eskizleri) → diňe zerur pertsentil binalary saklaň.

5) Maglumatlaryň kadalaşmagy we hili

Girelgede tassyklama: shema/diapazonlar/hökmany meýdançalar; ret edilenler - sebäpler bellikli karantine.
Duplikasiýa: '(event_id, producer, seq)'; "seen-cache" -ni + KV ýatda saklaň.
Metrleri düzetmek: "double count" we "flatline" -a garşy (datçikler dymýar).
Sample: high-QPS üçin - uýgunlaşdyrylan, ýalňyşlyk bilen; kritiki SLI - doly.

6) SLI/SLO (salgylanma)

"North Star: E2E Success Rate"

• per-kanal/sebit elýeterliligi.
• Esasy ugurlar boýunça gizlinlik p50/p95/p99.
• Error-rate/Retry-rate.
• Webhuklary gowşurmagyň üstünligi (kwitansiýalar bilen tassyklanan%).
• Bahalaryň/salgytlaryň yzygiderliligi ('quote = = checkout', ± 1 minor unit).
• Cost-SLI: 1k wakanyň bahasy, birlige egress/ingress.

• Elýeterliligi ≥ 99. 28 günlük penjirede 95%.
• p95: vitrin ≤ 120 ms, quote/checkout ≤ 250 ms.
• Webhuklar üstünlikli ≥ 99. 5 %/5-minutlyk penjire.
• Δ quote↔checkout = 0 (±1 minor unit).
• P1-e reaksiýa ≤ 10 min, MTTR ≤ 60 min.

7) Alerting we runes (auto-actions)

Derejeler: P1 (SLO-nyň bozulmagy/umytsyzlyk), P2 (pese gaçmak), P3 (trend/töwekgelçilik).
Sesiň azalmagy: 'trace _ id' dedupy, sebäp-netije zynjyrlarynyň baglanyşygy.

• "PriceMismatch" → katalogyň refresh, deňeşdirme 'fx _ version/tax _ rule _ version', kompensasiýa syýasaty;
• "WebhookLag" → workerleri gaýtadan ýerleşdirmek, batch artdyrmak, nobatlaryň ileri tutulmagy;
• "RTP Drift" → mahabat arakesmesi, töleg tablisasyny/wersiýasyny barlamak, profili yzyna gaýtarmak;
• "Egress Surge" → gysyş/keş-pinning/alternatiw ugry öz içine alýar.
• Eskalasiýa: matrisa 24 × 7, on-call rotasiýa, kanallar (söhbetdeşlik/jaň/SMS).

8) Daşbordlar (operatiw widjetler)

Platformanyň saglygy: elýeterlilik, p95/p99, error-rate, burn-down error-býudjet.
Integrasiýa/webhuk: üstünlik, lag, dubly/idempotentlik, kwitansiýalar.
Checkout/bahalar: vitrin tapawudy, FX/Tax wersiýasy, şowsuzlyk ýagdaýlary.
RTP/çäkleri: teor. vs observed RTP, limitleriň işlemegi, ekspozisiýa.
FinOps: cost per 1k, egress/ingress, býudjetler/kapa-alertler.
Howpsuzlyk/Compliance: SoD, JIT, MFA, PII soraglary, gollar girit. amallar.
Release/Flags: fich statuslary, kanar sebitleri, hadysalar bilen baglanyşyk.

9) Multiregion we multi-tenant

'tenant/region' boýunça partiýa ýerleşdirmek.
Sebitler boýunça garaşsyz SLO/kwotalar; sebitleýin alertleriň çäklendirilmegi (ýerli şowsuzlygyň bütin dünýäni "reňklemezligi" üçin).
Maglumatlaryň ynam zolaklary: PII/maliýe - diňe rugsat berlen ýerlerde; umumy daşbordda - agregatlar/heşler.

10) Howpsuzlyk, gizlinlik, subut edilip bilinjekdigi

Ingest autentifikasiýasy: açarlar/mutual-TLS, rate-limits, bukjalaryň gollary.
PII-minimalizasiýa: başlangyç ýerine bellikler, maskalar/heş-kesgitleýjiler.
Kwitansiýalar (receipts): DSSE/maliýe/möhüm wakalar üçin gollar.
WORM magazinesurnallary: audit üçin üýtgemeýän loglar, Merkle bölekleri.
Access Control: RBAC/ABAC/ReBAC, JIT duýgur paneller üçin.

11) Anomalist we korrelýasiýa

Guardrails: SLI boýunça statiki çäkler.
Statistika: Tendensiýalar üçin Shewhart/CUSUM/EWMA.
ML/signallar: möwsümlilik/kanallar/ASN/üpjün edijiler; relizleriň/fiçeflaglaryň täsiri.
Baglanyşyklar: hadysalary goýberişler, konfigurasiýalaryň üýtgemeleri, traffigiň ýokarlanmagy, aksiýalar bilen baglanyşdyryň.

12) Öndürijiligi we bahasy

Telemetriýanyň býudjeti: QPS/göwrüm üçin cap; "gürleýän" metrikleri ret etmek.
Gysyş/agregasiýa: downsampling taryhy (1s → 10s → 1min), burç eskizlerini saklaň.
Egress-control: ýerli keşler/agregatlar, edge-pre-prosessing.
Cost-aware aladalary :/1k wakalaryň bahasy ýa-da egress meýilnamadan çyksa, signal.

13) Integrasiýa we API şertnamalary

'POST/ingest/metrics' (JSON/OTLP): tassyklama, kwotalar, shema/wersiýa.
'POST/ingest/events' (gol çekilen): dedup/TTL/nonce.
`GET /kpis? filters = region, tenant, route '- UI üçin agregatlar.
'GET/traces/{ trace _ id}' - zynjyry açmak.
Вебхуки: `IncidentRaised`, `QuotaCapReached`, `PriceMismatch`, `WebhookLag`, `RTPDrift`.

14) Wakalaryň oýun kitaplary (şort-form)

P1 Elýeterlilik ↓: marşrutizasiýany üýtgetmek, circuit-breakers-i açmak, müşderileriň wagtyny azaltmak, status barada gyssagly ýazgy.
P1 Quote ≠ Checkout: freeze promo/bahalaryň dinamikasy, nagt puluň fors-maýyplygy, FX/Tax wersiýalaryny deňeşdirmek, öwezini dolmak.
P1 WebhookLag: workerleri/bäsdeşligi, batch-ululygy köpeltmek, ujypsyz webhuklary öçürmek.
P2 RTP Drift: bonuslary duruzmak, töleg tablisalaryny/wersiýalaryny barlamak, gözegçilik penjiresini giňeltmek, hasabat.
P2 Egress Surge: gysyş, edge-kesh, traffigiň bir böleginiň hereketi, wagtlaýyn kwotalar.

15) Gözegçiligiň hiliniň ölçegleri

UI/API elýeterliligi ≥ 99. 9%.
Freshness: Operasiýa panelleri üçin 30 s ≤ täzelenmeler.
Completeness: ≥ 99. Çeşmeleriň 5% -i penjireden maglumat iberdi.
Korrectness: Standart bilen tapawut ≤ 0. 1%.
MTTA/MTTR alert-paýplayn: P1 ≤ 1/10 min.

16) Girizmegiň çek-sanawy

• Demirgazyk ýyldyzy we SLI/SLO toplumyny sebitler/kanallar boýunça kesgitläň.
• Telemetriýanyň ähli akymlary üçin data contracts we shemalary giriziň.
• Ingest-i kwotalar, backpressure we baba bilen sazla.
• Tekeri/akymy we penjire agregasiýalaryny watermarks bilen açyň.
• Wagt-series/OLAP/WORM we kwitansiýalar bilen baglanyşyk guruň.
• Alertler + awto-run, eskalasiýa matrisa 24 × 7.
• SRE/Product/FinOps/Compliance/Partners rollary boýunça dashbordlary emele getiriň.
• PII-iň azaldylmagyny, gollary we RBAC/ABAC/ReBAC-y öz içine alyň.
• FinOps-metrikleri (cost/1k, egress, saklamak) we kaplary giriň.
• "GameDay" geçiriň: webhook lag, bahalaryň bölünişi, retrai-burst, sebitiň ret etmegi.

17) iGaming/fintech baglanyşygy

RTP & Limits: gözegçilik edilýän RTP-e we çäklere minutlarda/sagatlarda gözegçilik etmek, alertler "over/under pay" -da.
Tölegler/tölegler: ygtyýarnamalaryň, kliringiň we kwitansiýalaryň üsti bilen yzarlanylmagy; SLA PSP.
Affiliates: konwersiýalary (webhuklar) eltip bermek we jedeller → eskrow/deňeşdirme.
Mahabat: traffigiň partlamalary → nobatlary goramak we egress bahasy; Býudjetlere garrails.

18) FAQ

Real-time hemme ýerde hökmany?
Ýok. "Gyzgyn" konturlar - sekunt/minut (hadysalar, tölegler, webhuklar). Ykdysadyýet/analitika - minut/sagat.

Ýalan duýduryşlara garşy nähili göreşmeli?
SLO-ugrukdyrylan şertler, "trace _ id" boýunça agregasiýa we dedup, relizler bilen baglanyşyk, bosagalaryň gisterezisi.

Ähli ýazgylary hemişelik saklamalymy?
Ýok. WORM - diňe audit/möhüm akymlar üçin; galanlary downsampling/TTL.

Näme üçin "quote ≠ checkout" bolýar?
FX/Tax wersiýalary, keş maýyplygy, tegelek. Wersiýalary, SWR strategiýasy we yzygiderlilik synaglary bilen bejerilýär.

Gysgaça maglumat: Hakyky wagt gözegçiligi - bu düzgün-nyzam: berk maglumat şertnamalary, penjire hasaplamalary, kadaly wagt, kwitansiýalar we SLO-alertler bilen baglanyşyk, üstesine-de her widjetdäki hereket düwmesi. Muny dogry etmek bilen, siz MTTR-ni gysgaldýarsyňyz, býudjeti gözegçilik astynda saklaýarsyňyz we ekosistemany sebitler we tenantlar boýunça ynamly giňeldýärsiňiz.