Real vaxt monitorinqi

(Bölmə: Əməliyyatlar və İdarəetmə)

1) Niyə real-time monitorinq

• kritik marşrutların mövcudluğu və gecikmələrinin (p50/p95/p99) ani görünməsi;
• hadisələrin bütövlüyünə nəzarət (vebhuk, ödənişlər, RTP/limitlər);
• maliyyə təhlükəsizliyi (egress/1k hadisə dəyəri, klirinq/eskrou);
• uyğunluq (qəbz, PII-gigiyena).

2) Memarlıq konturu

1. Producers: xidmətlər, SDK, edge qovşaqları, ödəniş/məzmun provayderləri.

2. Ingest-şlüzlər: backpressure və kvotalarla metrics/traces/logs/events qəbulediciləri.

3. Şin/axın: partizan (tenant/region/route) broker, replay üçün retenshn.

4. Stream-processing: pəncərə aqreqasiyası (T + 5s/T + 1m), dedup, vaxt normallaşdırılması, SLI hesablanması.

5. Saxlama: time-series (operativ), OLAP (tarix), WORM jurnalları (audit).

6. Analitika və alertinq: SLO qaydaları, statistik detektorlar, anomalist.

7. Dashboard və Runes: hərəkət üçün UI (pause/re-route/rollback/raise-limit).

• Metrik/hadisə data contracts (sxemlər, versiyalar, validasiya).
• Domen hadisələrinin zəmanətli yayımı üçün Outbox/CDC.
• Idempotency və dedup 'trace _ id/event _ id'.
• Clock sync: NTP/PTP, düzəliş 'skew', şəlalə vaxt (event vs processing time).

3) Telemetriya və semantika növləri

Metrics (SLI): p-persentillərin sayğacları/geji/histoqramları.
Traces: keçidli 'trace _ id/span _ id', bir dəstə RPC, bir veb-hook hadisələri.
Logs: strukturlaşdırılmış, s 'tenant _ id/region/version'.
Business events: `PaymentAuthorized`, `WebhookDelivered`, `RTPWindowClosed`.
Receipts: qəbzlər/imzalar (maliyyə/kritik əməliyyatlar üçün).

4) Vaxt və pəncərələr

Zaman növləri: event-time, ingest-time, processing-time.
Pəncərələr: sürüşmə (5-30 c), tumbler (1-5 dəq), gec hadisələr üçün su gecikməsi (watermark).
Kompakt: axında yığın (histogram eskizləri) → yalnız zəruri üzlük binləri saxlayın.

5) Məlumatların normallaşdırılması və keyfiyyəti

Girişdə validasiya: sxem/diapazonlar/məcburi sahələr; rədd - səbəbləri qeyd ilə karantinə.
Deuplikasiya: '(event_id, producer, seq)'; «seen-cache» yaddaşınızda saxlayın + KV.
Metrlərin korreksiyası: «double count» və «flatline» qarşı (sensorlar səssizdir).
Sampling: high-QPS üçün - adaptiv, səhv; kritik SLI - tam.

6) SLI/SLO (istinad)

North Star: E2E Success Rate regionlar üzrə hədəf p95 ilə.

• per-kanal/region mövcudluğu.
• Əsas marşrutlar üzrə gecikmə p50/p95/p99.
• Error-rate/Retry-rate.
• Vebhukların çatdırılmasının müvəffəqiyyəti (qəbzlərlə təsdiqlənmiş%).
• Qiymətlərin/vergilərin sabitliyi ('quote = = checkout', ± 1 minor unit).
• Cost-SLI: 1k hadisələrin dəyəri, vahid başına egress/ingress.

• Mövcudluğu ≥ 99. 28 günlük pəncərədə 95%.
• p95: vitrin ≤ 120 ms, quote/checkout ≤ 250 ms.
• Webhucks 99 ≥ uğur qazanır. 5 %/5-dəq pəncərə.
• Δ quote↔checkout = 0 (±1 minor unit).
• Reaksiya P1 ≤ 10 dəq, MTTR ≤ 60 dəq.

7) Alerting və runes (auto-actions)

Səviyyələr: P1 (SLO-nun pozulması/çıxılmaz), P2 (deqradasiya), P3 (trend/risk).
Səs-küyün azaldılması: 'trace _ id' dedupu, səbəb-nəticə zəncirlərinin korrelyasiyası.

• «PriceMismatch» → refresh kataloqu, müqayisə 'fx _ version/tax _ rule _ version', kompensasiya siyasəti;
• «WebhookLag» → workerlərin yenidən qurulması, batch artımı, növbələrin prioritetləşdirilməsi;
• «RTP Drift» → promo fasilə, ödəniş cədvəlini/versiyasını yoxlamaq, profili geri qaytarmaq;
• «Egress Surge» → kompres/cash-pinning/alternativ marşrut daxildir.
• Eskalasiya: matris 24 × 7, on-call rotasiya, kanallar (chat/zəng/SMS).

8) Daşbordlar (əməliyyat widget 'ları)

Platformanın sağlamlığı: əlçatanlıq, p95/p99, error-rate, burn-down error-büdcə.
İnteqrasiya/vebhuk: müvəffəqiyyət, laq, dubli/idempotentlik, qəbzlər.
Checkout/Qiymətlər: vitrin uyğunsuzluqları, FX/Tax versiyaları, qəza halları.
RTP/limitləri: teor. vs observed RTP, limitlərin işə salınması, ekspozisiya.
FinOps: cost per 1k, egress/ingress, büdcələr/cap-alertlər.
Security/Compliance: SoD, JIT, MFA, PII sorğuları, imzalar krit. əməliyyatlar.
Release/Flags: fich statusları, kanarya bölgələri, insidentlərlə birləşmə.

9) Multiregion və multi-tenant

'tenant/region' üzrə partizan.
Regionlar üzrə müstəqil SLO/kvotalar; cross-regional alertlərin məhdudiyyətləri (yerli uğursuzluğun bütün dünyanı «boyamaması» üçün).
Məlumat etimad zonaları: PII/maliyyə - yalnız icazə verilən yerlərdə; ümumi dashboard - aqreqatlar/hash.

10) Təhlükəsizlik, məxfilik, sübuta yetirilebilirlik

ingest autentifikasiyası: açarlar/mutual-TLS, rate-limits, paket imzaları.
PII-minimallaşdırma: ilkin əvəzinə tokenlər, maskalar/hash identifikatorları.
Qəbzlər (receipts): DSSE/maliyyə/kritik hadisələr üçün imzalar.
WORM jurnalları: audit üçün dəyişməz qeydlər, Merkle dilimləri.
Access Control: RBAC/ABAC/ReBAC, həssas panellər üçün JIT.

11) Anomalist və korrelyasiya

Guardrails: SLI ilə statik eşiklər.
Statistika: Tendensiyalar üçün Shewhart/CUSUM/EWMA.
ML/siqnallar: mövsümilik/kanallar/ASN/provayderlər; relizlər/fitness təsiri.
Korrelyasiya: hadisələri buraxılışlar, konfiqurasiya dəyişiklikləri, trafik partlayışları, promosyonlarla əlaqələndirin.

12) Performans və dəyəri

Telemetriya büdcəsi: QPS/həcm üçün cap; «danışan» metriklərin rədd edilməsi.
Sıxılma/aqreqasiya: downsampling hekayə (1s → 10s → 1min), qələm eskizləri saxlayın.
Egress-control: yerli caches/aqreqatlar, edge-pre-emal.
Cost-aware risk :/1k hadisələrin dəyəri və ya egress plandan kənara çıxarsa, siqnal.

13) Inteqrasiya və API müqavilələri

'POST/ingest/metrics' (JSON/OTLP): autentifikasiya, kvotalar, sxem/versiya.
'POST/ingest/events' (imzalanmış): dedup/TTL/nonce.
`GET /kpis? filters = region, tenant, route '- UI üçün aqreqatlar.
'GET/traces/{ trace _ id}' - zəncirin açılışı.
Вебхуки: `IncidentRaised`, `QuotaCapReached`, `PriceMismatch`, `WebhookLag`, `RTPDrift`.

14) Hadisə pleybukları (şort-form)

P1 Accessibility ↓: routing keçid, circuit-breakers daxil, müştərilərin vaxtını azaltmaq, status haqqında təcili post.
P1 Quote ≠ Checkout: freeze promo/qiymət dinamikası, fors-əlil cache, FX/Tax versiyası müqayisə, kompensasiya.
P1 WebhookLag: workers/rəqabət artırmaq, batch ölçüsü, əhəmiyyətsiz vebhukları söndürmək.
P2 RTP Drift: fasilə bonusları, ödəniş cədvəllərinin/versiyalarının yoxlanılması, müşahidə pəncərəsinin genişləndirilməsi, hesabat.
P2 Egress Surge: sıxılma, edge-cache, trafik hissəsi hərəkət, müvəqqəti kvotalar.

15) Monitorinqin keyfiyyət göstəriciləri

UI/API mövcudluğu ≥ 99. 9%.
Freshness: əməliyyat panelləri üçün lag ≤ 30 s yeniləmə.
Completeness: ≥ 99. Mənbələrin 5% -i pəncərədən məlumat göndərdi.
Correctness: etalon ≤ 0 ilə uyğunsuzluq. 1%.
MTTA/MTTR alert payplayn: P1 ≤ 1/10 dəq.

16) Giriş çek siyahısı

• North Star və SLI/SLO setini bölgələr/kanallar üzrə müəyyən edin.
• Bütün telemetriya axınları üçün data contracts və sxemləri daxil edin.
• Kvotalar, backpressure və deadup ilə ingest qurmaq.
• Watermarks ilə şin/axın və pəncərə aqreqasiyalarını genişləndirin.
• Time-series/OLAP/WORM və qəbzlər ilə əlaqə qurun.
• Alert + avto-run, eskalasiya matrisi 24 × 7.
• Rollar üzrə dashboard yaratmaq: SRE/Product/FinOps/Compliance/Partners.
• PII minimallaşdırma, imzalar və RBAC/ABAC/ReBAC daxil edin.
• FinOps-metriklər (cost/1k, egress, saxlama) və kaplar daxil edin.
• GameDay keçirmək: lag webhook, rasinxron qiymətləri, retray-burst, regionun rədd.

17) iGaming/fintech bağlamaq

RTP & Limits: müşahidə olunan RTP və limitləri dəqiqə/saat, alertlər «over/under pay» üzərində nəzarət.
Ödənişlər/ödənişlər: avtorizasiyalar, klirinq və qəbzlərin izi; SLA PSP.
Affiliates: konvertasiyaların çatdırılması (vebhuk) və mübahisələr → eskrou/yoxlama.
Promo: trafik partlayışları → növbələrin qorunması və egress qiyməti; büdcələr üçün guardrails.

18) FAQ

Real-time hər yerdə tələb olunur?
Yox. «Isti» konturlar - saniyələr/dəqiqələr (hadisələr, ödənişlər, vebhuklar). İqtisadiyyat/analitika - dəqiqə/saat.

Saxta həyəcanlarla necə mübarizə aparmaq olar?
SLO-yönümlü şərtlər, aqreqasiya və dedup 'trace _ id', relizlər ilə korrelyasiya, eşik histerezisi.

Bütün qeydləri əbədi saxlamaq lazımdırmı?
Yox. WORM - yalnız audit/kritik axınlar üçün; qalan - downsampling/TTL.

Niyə «quote ≠ checkout» tapılır?
FX/Tax versiyaları, cache əlilliyi, yuvarlaqlaşdırma. Versiyaları, SWR strategiyası və sabitlik testləri ilə müalicə olunur.

CV: Real vaxt monitorinqi intizamdır: ciddi məlumat müqavilələri, pəncərə hesablamaları, normallaşdırılmış vaxt, qəbzlər və SLO-alertlər ilə əlaqə, üstəlik hər bir widgetdakı hərəkət düyməsi. Bunu düzgün etdikdən sonra siz MTTR-i ixtisar edirsiniz, büdcəni nəzarət altında saxlayırsınız və ekosistemi bölgələr və tenantlar üzrə inamla genişləndirirsiniz.