Zynjyrlary we düwünleri görmek

1) Gözegçilik maksady we obýekti

• ahyrky sebäplilik (basmakdan invoýsa çenli);
• öňünden aýdyp boljak SLO we dolandyrylyp bilinjek töwekgelçilik;
• çalt RCA we pes MTTR;
• telemetriýanyň iň pes bahasy bolan ýagdaýynda subut edilip bilinjekdigi (gol çekilen habarlar, WORM-audit).

2) Gözegçilik ontologiýasy

• `chainId`, `nodeId`, `role`(operator/studio/psp/kyc/affiliate/stream), `jurisdiction`, `env`(prod/stage/sbx), `traceId`, `spanId`, `routeId`, `campaignId`, `tableId`, `apmRouteId`.

• `click`, `session_start`, `registration`, `kyc_status`, `deposit/withdrawal`, `ftd`, `bet/spin`, `reward_granted`, `postback_sent/received`, `jackpot_contribution/trigger`, `stream_sli`, `rg_guardrail_hit`.

• Metrics (RED/USE/Golden Signals), Traces (W3C traceparent), Logs (gurluş), Events (iş), RUM/Synthetic (müşderi/kanallar), Audit/WORM (üýtgemez).

Shemalaryň hemmesi Schema Registry-de wersiýa edilýär; döwürler - UTC/ISO-8601.

3) Ulag we baglanyşyk

OpenTelemetry: metrikler/bloglar/spanlar üçin ýeke-täk format; TSDB/prosessorlara eksportçylar.
W3C Trace Context: 'traceparent '/' tracestate' redaktorlar, API, webhuklar, tekerler arkaly zyňylýar.
Idempotentlik: "Idempotency-Key" kritiki ýollarda (tölegler/postbekler).
"Exactly-once" manysy boýunça: kesiş/kursor taryhy, webhuklary täzeden oýnamak sanawy.
Exemplars: latency gistogrammalaryny çalt RCA üçin anyk 'traceId' bilen baglanyşdyrýarys.

4) SLI/SLO modeli we ýalňyşlyk býudjetleri

Golden Signals: latency, traffic, errors, saturation.
RED (NTTR/şlýuzlar): Rate, Errors, Duration.
USE (infrastruktura): Utilization, Saturation, Errors.

• Webhuklar: eltip bermek ≥ 99. 9%, p95 ≤ 1-2 s.
• Hyzmatdaşlaryň API-leri: p95 ≤ 150-300 ms, error rate ≤ 0. 3–0. 5%.
• Wakalaryň tekeri: lag p95 ≤ 200-500 ms; eltip bermek ≥ 99. 9%.
• Tölegler/ARM: Profil koridorynda CR; e2e ygtyýarnamasy ≤ X s.
• KYC: ýurisdiksiýa profilleri boýunça pass-rate we SLA tapgyrlary.
• Live/SFU/CDN: e2e 2-3 s, packet loss ≤ 1%, apteim ≥ 99. 9%.
• Daşbordlar: täzelik ≤ 1-5 s; p95 render ≤ 1. 5–2. 0 s.

Ýalňyşlyklaryň býudjeti: döwürleri (mysal üçin 30 gün), ýalňyşlyklaryň görnüşlerini (5xx, wagt, SLO-nyň bozulmagy), auto bonus/malus düzgünlerini we duralga düwmelerini ýazýarys.

5) Daşbordlar: gatlaklar we artefaktlar

1. Service Graph (zynjyrlar): topologiýa, rps/eps, p95/p99, error-rate, saturation, heatmap ýurisdiksiýalary boýunça akymlar.
2. Business Flow: basmak → hasaba almak → KYC → goýum → FTD → nyrh/tapgyr → töleg; konwersiýa hunileri we atributiýa penjireleri.
3. Payments/KYC: CR × geo × enjam, şowsuzlyklaryň kod-maplary, tapgyrlaryň latency, düşündirişler bilen auto cut-over.
4. Content/RGS/Live: round-trip, error-rate, SFU/CDN SLI, lider tablisalary we jekpotlar.
5. Postbacks/Attribution: öz wagtynda, jedelli, dedup, kursor laglary.
6. Trust & Risk: düwünleriň ýazgylary (SLO/ATTR/RG/SEC), "söwda bukjasyna wagt", Tier çaklamasy.

Her panel - formulalaryň wersiýalary we changelog baglanyşyklary bilen.

6) Alerting we eskalasiýa

Köp derejeli SLO-alertler: duýduryş (burn-rate 2 ×), tankyt (burn-rate 10 ×), indiki hereketler (marşrutlary/çäkleri sowatmak).
Kompozisiýa triggerleri: "latency ↑ + CR ↓ + postback lag ↑" → PSP-iň zaýalanmagyna şübhe.
Rol kanallary: SRE/Payments/KYC/RGS/Marketing/Maliýe/Legal/RG; kontekst derrew 'traceId '/' runbook '/dur düwmesini öz içine alýar.
Şowhunly metrler üçin Snooze/Muting-syýasatlar, ýöne P1 dymmazdan.

7) RCA и war-room

Söwda bukjasyna SLA: 60-90 s (P1/P2).
"Günäkärleri gözlemezden" RCA şablony: hakykat → gipoteza → synag → netije → hereket → yzarlamak.
Relizleriň diffi (§ 2 wakalar): hadysanyň penjiresinde gapma-garşylyklary/formulalary/konfigurasiýalary awtomatiki barlamak.
Post-mortem SLO: tapylýança, arakesmä, yza çekilýänçä, durnuklaşýança, bellikler çap edilýänçä wagt.

8) Maglumatlaryň hili we gelip çykyşy

Data Quality SLI: dolulygy, täzeligi, özboluşlylygy ('eventId'), walýutalaryň/lokallaryň sazlaşygy.
Lineage: penjirelerden/panellerden çeşmelere (shemalar/wersiýalar/eýeler).
Oracles: gol çekilen agregatlar (GGR/NetRev/SLO/RG), 'formulaVersion', 'hash (inputs)', 'kid', döwür.
WORM-audit: formulalaryň/açarlaryň/kadadan çykmalaryň/invoýslaryň üýtgemeýän ýazgylary.

9) Şahsy, ýurisdiksiýa we howpsuzlyk

Zero Trust: mTLS, gysga ömürli tokenler, egress-allow-list, açar aýlawy/JWKS.
PII-minimalizasiýa: 'playerId' tokenizasiýasy, detokenizasiýa diňe seýf zolaklarynda; log/metriklerde PD-ni gadagan etmek.
ABAC/ReBAC/SoD: giriş "öz we ylalaşylan görýärin"; "ölçemek ≠ täsir etmek ≠ üýtgetmek".
Bazarlar üçin maglumatlaryň lokalizasiýasy we DPIA/DPA; purge-syýasatlar we TTL.

10) Telemetriýanyň bahasy we kardinallygy dolandyrmak

Cardinality Budget: belliklere çäklendirmeler (userId/URL/UA - gadagan; routeId/campaignId - rugsat berilýär).
Gistogrammalar "uçup barýarka"; saýlama jikme-jiklikler üçin exemplars.
Adaptive sampling tracks: esasy göterim + ýalňyşlyklar/haýal ýollar/täze wersiýalar üçin ileri tutulýan ugur.
Downsampling/roll-ups öň (1s → 1m → 5m); RAW-treýsleriň saklanylyşy gysga, agregatlar - has uzyn.
SLO-first: Diňe çözgütleri goldaýan zatlary ýygnaýarys (SLO/finans/complayens).

11) Dolandyryş bilen integrasiýa (SRE biznes)

Neşirleriň we kampaniýalaryň Guardrails SLO/ýalňyşlyk býudjetine baglydyr.
Metrler koridorlardan çykanda APM/KYC marşrutlarynyň "Auto cut-over".
RevShare/limitler: 'Q' hil köpeldijisi (SLO/ATTR/RG/SEC-den) nyrhlara we kwotalara täsir edýär.
Düwünleriň ýazgylary → traffigiň ileri tutulmagy we uçarmanlara elýeterlilik.

12) Anti-patternler

Formulaly metrikler we dürli penjireler boýunça "Köp hakykat".
Taryhyň ofset-paginasiýasy (kursorlary ulanyň).
PII log/panellerde; BI-e PD eksporty.
Postbekleriň haýwanat bagy we gol çekilmedik webhuklar → dubllar/deşikler/jedeller.
'traceId' -siz graf: panel owadan, sebäpler ýok.
Burn-rate we rolsyz alert-tupan.
N + 1/DR bolmadyk SPOF-telemetriýa agregatory.
TTL/auditsiz kadadan çykmalar - "ýelmeşýän" artykmaç.

13) Çek-listler

Dizaýn

• Signallaryň we shemalaryň ontologiýasy; wersiýalary we eýeleri.
• W3C traceparent hemme ýerde; Idempotency-Key kritiki ýollarda.
• SLI/SLO we ýalňyşlyk býudjetleri; dur düwmeleri; guardrails.
• Kardinallyk, sampling, retention/roll-ups syýasaty.
• Gizlinlik/PII: tokenizasiýa, DPA/DPIA, lokalizasiýa.
• Role-based alerts and runbooks.

Başlamak

• Marşrut/metrik/loglar üçin conformance; synthetic-geçişler.
• Goýberilende kanareýa telemetriýasy; öň/soň deňeşdirme panelleri.
• War-room playbook; SLA söwda bukjasyna.

Ulanyş

• Hepdelik düwün synaglary; burn-rate hasabatlary.
• Formulalaryň aýlyk alyş-çalyş ýazgylary we SLO/çäkleri täzeden gözden geçirmek.
• DR/xaoc-agregator/teker/vitrin maşklary.

14) Kämillik ýaşyna ýetmegiň ýol kartasy

v1 (Foundation): esasy metrikler + loglar, ýekeje traceId, RCA el, başlangyç SLO.
v2 (Integration): OpenTelemetry hemme ýerde, service graph, guardrails, oracle konweýer, rolly alertler.
v3 (Automation): çaklamaly pese gaçmalar, auto cut-over APM/KYC/RGS, smart-reconciliation, "Q" çäkleriniň dinamikasy.
v4 (Networked Governance): signallaryň we orakulalaryň zynjyrara alyş-çalşygy, formula/SLO DAO düzgünleri, aç-açan gazna.

15) Üstünligiň metrikleri

Hil/töwekgelçilik: MTTR ↓, MTTD ↓, jedelli <X%, awto-arakesme/yza gaýdyp gelmek paýy, ýollary ýapmak ≥ 95%.
Iş: CR/FTD/ARPU/LTV öňünden aýdyp boljak uplift, postbekleriň takyklygy we öz wagtynda, NetRev durnuklylygy.
Tehnika: p95 API/webhuk/şina/koridorlarda vitrin; düwünleriň aptaimi/CDN/SFU ≥ 99. 9%.
Ykdysadyýet: Cost-to-Observe (CTO) rps/event-de,% exemplars bilen agregatlar, çäklerde RAW saklamak.
Ylalaşyk: 0 PD syzmagy, üstünlikli DPIA/DPA auditleri, WORM-loglaryň elýeterliligi 100%.

Gysgaça gysgaça

Görnüklilik - bu ynamyň önümçilik kontury: bir ontologiýa, geçip barýan ýollar, metrikleriň we wakalaryň kanonikasy, SLO-gardreýller we maglumatlaryň orakulalary, adaty gizlinlik we telemetriýanyň bahasynyň tertibi. Şeýle çarçuwalar zynjyrlary we düwünleri aç-açan, öňünden aýdyp boljak we subut edip boljak, ekosistemany bolsa reaksiýada çalt we töwekgelçiliklere çydamly edýär.