Zanjirlar va uzellarning ko’rinishi

1) Kuzatish vazifasi va obyekti

• uzluksiz sabablilik (bosishdan invoysgacha);
• prognoz qilinadigan SLO va boshqariladigan tavakkalchilik;
• tezkor RCA va past MTTR;
• telemetriyaning minimal qiymatida isbotlanishi (imzolangan ma’lumotlar, WORM-audit).

2) Kuzatish ontologiyasi

• `chainId`, `nodeId`, `role`(operator/studio/psp/kyc/affiliate/stream), `jurisdiction`, `env`(prod/stage/sbx), `traceId`, `spanId`, `routeId`, `campaignId`, `tableId`, `apmRouteId`.

• `click`, `session_start`, `registration`, `kyc_status`, `deposit/withdrawal`, `ftd`, `bet/spin`, `reward_granted`, `postback_sent/received`, `jackpot_contribution/trigger`, `stream_sli`, `rg_guardrail_hit`.

• Metrics (RED/USE/Golden Signals), Traces (W3C traceparent), Logs (tarkibiy), Events (biznes), RUM/Synthetic (mijoz/kanallar), Audit/WORM (oʻzgarmas).

Barcha sxemalar Schema Registry-da versiyalanadi; zamonlar - UTC/ISO-8601.

3) Transport va korrelyatsiya

OpenTelemetry: metrik/loglar/spanlarning yagona formati; TSDB/ishlov beruvchilarga eksport qiluvchilar.
W3C Trace Context:’traceparent ’/’ tracestate’tahririyatlar, API, vebxuklar, shinalar orqali tashlanadi.
Idempotentlik: «Idempotency-Key» kritik yo’llarda (to’lovlar/postbeklar).
Exactly-once ma’nosi bo’yicha: xeshlar bo’yicha dedup/kursor tarixi, vebxuklarni qayta o’ynash reyestri.
Exemplars: latency gistogrammalarini tezkor RCA uchun aniq’traceId’bilan bogʻlaymiz.

4) SLI/SLO modeli va xato budjetlari

Golden Signals: latency, traffic, errors, saturation.
RED (MTTR/shlyuzlar): Rate, Errors, Duration.
USE (infratuzilma): Utilization, Saturation, Errors.

• Vebxuki: yetkazib berish ≥ 99. 9%, p95 ≤ 1-2 q.
• Hamkorlar API: p95 ≤ 150-300 ms, error rate ≤ 0. 3–0. 5%.
• Voqealar shinasi: lag p95 ≤ 200-500 ms; yetkazib berish ≥ 99. 9%.
• To’lovlar/ARM: profil koridoridagi CR; e2e avtorizatsiya ≤ X s.
• KYC: yurisdiksiya profillari boʻyicha pass-rate va SLA bosqichlari.
• Live/SFU/CDN: e2e 2-3 s, packet loss ≤ 1%, aptaym ≥ 99. 9%.
• Dashbordlar: yangilik ≤ 1-5 s; render p95 ≤ 1. 5–2. 0 s.

Xatolar byudjeti: davrlarni (masalan, 30 kun), xatolar turlarini (5xx, taymautlar, SLO buzilishlari), auto bonus/malus qoidalarini va stop-tugmalarni qayd etamiz.

5) Dashbordlar: qatlamlar va artefaktlar

1. Service Graph (zanjir uzellari): topologiya, rps/eps, p95/p99, error-rate, saturation, yurisdiksiyalar boʻyicha heatmap oqimlari.
2. Business Flow: bosish → ro’yxatdan o’tish → KYC → depozit → FTD → stavka/tur → to’lov; konversion voronkalar va atributsiya oynalari.
3. Payments/KYC: CR × geo × qurilma, nosozliklar kod-maplari, bosqichlar latency, izohli auto cut-over.
4. Content/RGS/Live: round-trip, error-rate, SFU/CDN SLI, yetakchi jadvallar va jekpotlar.
5. Postbacks/Attribution: o’z vaqtida, bahsli, dedup, kursor laglari.
6. Trust & Risk: uzellar scorecards (SLO/ATTR/RG/SEC), «treys-paketga vaqt», Tier prognozi.

Har bir panel - formulalar versiyalari va changelog’ga havolalar bilan.

6) Alerting va eskalatsiyalar

Ko’p darajali SLO-alertlar: ogohlantirish (burn-rate 2 ×), tanqid (burn-rate 10 ×), keyingi harakatlar (yo’nalishlar/limitlarni sovutish).
Kompozitsion triggerlar: «latency ↑ + CR ↓ + postback lag ↑» → PSP degradatsiyasiga shubha.
Rolli kanallar: SRE/Payments/KYC/RGS/Marketing/Moliya/Legal/RG; kontekst darhol’traceId ’/’ runbook ’/stop tugmasini o’z ichiga oladi.
Shovqinli metriklar uchun Snooze/Muting siyosati, lekin P1 o’chirishsiz.

7) RCA и war-room

Treys-paketga SLA: 60-90 s (P1/P2).
RCA shabloni «aybdorlarni qidirmasdan»: fakt → gipoteza → eksperiment → xulosa → harakat → follow-up.
Relizlar diffi (§ 2 hodisalar): hodisa oynasidagi kolliziyalar/formulalar/konfiguratsiyalarni avtomatik tekshirish.
Post-mortem SLO: detektorgacha, pauzagacha, orqaga qaytgunga, barqarorlashgunga, eslatmalar e’lon qilingunga qadar.

8) Ma’lumotlarning sifati va kelib chiqish chizig’i

Data Quality SLI: to’liqligi, yangiligi, o’ziga xosligi (’eventId’), valyuta/lokallarning muvofiqligi.
Lineage: vitrin/panellardan manbalarga (sxemalar/versiyalar/egalar).
Orakulalar: imzolangan agregatlar (GGR/NetRev/SLO/RG),’formulaVersion’,’hash (inputs)’,’kid’, davr.
WORM-audit: formulalar/kalitlar/istisnolar/invoyslarning o’zgarmas loglari.

9) Maxfiylik, yurisdiksiya va xavfsizlik

Zero Trust: mTLS, qisqa yashaydigan tokenlar, egress-allow-list, kalitlar rotatsiyasi/JWKS.
PII-minimallashtirish:’playerId’tokenlashtirish, faqat seyf-zonalarda detokenizatsiya qilish; loglarda/metriklarda PDn ni taqiqlash.
ABAC/ReBAC/SoD: kirish «o’zim ko’raman va kelishilgan»; «o’lchayman ≠ ta’sir qilaman ≠ o’zgartiraman».
Bozorlar uchun ma’lumotlarni va DPIA/DPAni mahalliylashtirish; purge-siyosati va TTL.

10) Telemetriya qiymati va kardinallikni boshqarish

Cardinality Budget: leybllar uchun limitlar (userId/URL/UA - taqiqlangan; routeId/campaignId - ruxsat etilgan).
Parsentillar o’rniga «uchish» gistogrammalari; tanlab tafsilotlar uchun exemplars.
Adaptive sampling trassirovkalari: asosiy foiz + xatolar/sekin yoʻllar/yangi versiyalar uchun ustuvorlik.
Downsampling/roll-ups eskicha (1s → 1m → 5m); RAW-treyslarni qisqacha, agregatlarni esa uzoqroq saqlash.
SLO-first: Biz faqat yechimlarni (SLO/moliya/komplayens) qo’llab-quvvatlayotgan narsalarni yig’aymiz.

11) Boshqaruv bilan integratsiya (SRE biznes)

Relizlar va kampaniyalarning Guardrails SLO/xato byudjetlariga bogʻlangan.
Metriklarning koridorlardan chiqishida APM/KYC yo’nalishlarining auto cut-over.
RevShare/limitlar:’Q’sifat ko’paytirgichi (SLO/ATTR/RG/SEC dan) stavkalar va kvotalarga ta’sir qiladi.
Scorecards tugunlari → trafikni ustuvorlashtirish va uchuvchilarga kirish.

12) Anti-patternlar

«Ko’p haqiqatlar» formulali metriklar va turli oynalar bo’yicha.
Tarixni ofset-paginatsiya qilish (kursorlardan foydalaning).
PII log/panellarda; BIga PD eksport qilish.
Postbeklar hayvonot bog’i va imzo qo’yilmagan vebxuklar → dubli/tuynuklar/sporalar.
’TraceId’ grafigi: panel chiroyli, sababi yoʻq.
Burn-rate va rol yo’nalishlarisiz alert bo’roni.
SPOF-telemetriya agregatori N + 1/DR.
TTL/auditsiz istisnolar - «yopishqoq» override-lar.

13) Chek-varaqlar

Loyihalash

• Signallar va sxemalar ontologiyasi; versiyalar va egalari.
• W3C traceparent hamma joyda; Idempotency-Key tanqidiy yo’llarda.
• SLI/SLO va xato byudjetlari; stop-tugmalar; guardrails.
• Kardinallik, sampling, retention/roll-ups siyosati.
• Privacy/PII: tokenizatsiya, DPA/DPIA, lokalizatsiya.
• Role-based alertlar va runbooks.

Ishga tushirish

• Trassalar/metrik/loglar uchun Conformance; synthetic-progonlar.
• Relizlarda kanareya telemetriyasi; qiyosiy panellar oldin/keyin.
• War-room pleybuklari; Treys paketiga SLA.

Ekspluatatsiya qilish

• Haftalik shoxobchalar; burn-rate hisobotlari.
• Har oylik formulalar cheynjloglari va SLO/limitlarni qayta ko’rib chiqish.
• DR/xaoc-agregator/shina/vitrin mashqlari.

14) Kamolotning yo’l xaritasi

v1 (Foundation): bazaviy metriklar + loglar, yagona traceId, qo’lda ishlatiladigan RCA, birlamchi SLO.
v2 (Integration): OpenTelemetry hamma joyda, service graph, guardrails, oracle konveyeri, rolli alertlar.
v3 (Automation): prognoz degradatsiyalar, auto cut-over APM/KYC/RGS, smart-reconciliation, «Q» bo’yicha limitlar dinamikasi.
v4 (Networked Governance): signallar va orakulalarning zanjirlararo almashinuvi, formula/SLO DAO qoidalari, shaffof g’aznachilik.

15) Muvaffaqiyat metrikasi

Sifat/xavf: MTTR ↓, MTTD ↓, bahslilik <X%, auto-pauza/qaytish ulushi, trassalarni qoplash ≥ 95%.
Biznes: CR/FTD/ARPU/LTV, postbeklarning aniqligi va o’z vaqtida bajarilishi, NetRev barqarorligi.
Texnika: p95 API/vebxuk/shina/vitrin yo’laklarda; aptaym uzellar/CDN/SFU ≥ 99. 9%.
Iqtisodiyot: Cost-to-Observe (CTO) rps/event,% exemplars agregatlari, limitlarda RAW saqlash.
Komplayens: PDn ning 0 ta oqishi, muvaffaqiyatli DPIA/DPA auditlari, WORM-loglarning 100% foydalanish imkoniyati.

Qisqacha xulosa

Ko’rinish - bu ishonchning ishlab chiqarish konturi: bitta ontologiya, o’tish yo’llari, metrika va voqealar kanonikasi, SLO-gardreylar va ma’lumotlar orakulalari, andoza bo’yicha maxfiylik va telemetriya narxining intizomi. Bu zanjir va tugunlarni shaffof, bashorat qilinadigan va isbotlanadigan, ekotizimni esa tezkor va xavf-xatarlarga chidamli qiladi.