Telemetriya oqimlari

1) Vazifasi va konteksti

Telemetriya oqimlari platforma ishi to’g’risidagi kuzatuv ma’lumotlarining uzluksiz oqimini ta’minlaydi: nima sodir bo’lmoqda, nima uchun va qancha turadi. iGaming-da bu depozitlar/stavkalarning tanazzulini, tashqi provayderlarning ko’rinishini (PSP/KYC/o’yin studiyalari) va isbotlanadigan SLO/komplayensni erta aniqlashning kalitidir.

2) Telemetriya manbalari xaritasi

Metrika (TSDB): RED/USE, biznes-SLI (avtorizatsiya muvaffaqiyati, muvaffaqiyatli stavkalar%).
Treyslar (OTel): front orqali so’rovlar zanjiri → API → brokerlar → DB/PSP.
Logi (strukturalangan): voqealar, operatsiyalar auditi, xatolar.
RUM: TTFB/LCP, JS xatolari, geo/qurilma.
Sintetika: turli GEOlarning tashqi sinov tranzaksiyalari (login/depozit/» qum» stavkasi).
Past darajadagi telemetriya: eBPF/profiling CPU/IO/alloc, tarmoq p95/p99.
Tashqi holatlari: PSP/KYC/CDN/WAF vebxuklari/pullari.

3) Standartlar va sxemalar

OpenTelemetry lingua franca sifatida: atributlar semantikasini birxillashtirish (service. name, deployment. environment, enduser. id - niqoblanadi, trace/SpanID, PSP-kodlar).
Sxemalar to’g "risidagi bitimlar: versiyalash, loglar/treyslar uchun schema registry," breaking-changes "faqat ikkilik bayroq va grace-davr orqali.
Correlation-ID: metrik persentillarda + exemplars barcha qatlamlari orqali to’lov/stavkalar uchun yagona’correlation _ id’.

4) Injest konveyeri (high-level)

1. Producers: SDK/agentlar/kollektorlar (uzellarda OTel Collector).
2. Edge-buferlash: lokal navbatlar (memory/disk).
3. Transport: gRPC/HTTP OTLP → idempotency-kalitli xabarlar brokeri (Kafka/Pulsar).
4. Processors: normallashtirish, boyitish (GEO/tenant/kanal), PII-filtrlar, ingichka sempling.
5. Fan-out: TSDB (metrika) da, trassalar omborida, loglar tizimida, lake/DWHda, alerting/qoidalarda.
6. Consumers: dashbordlar, SLO-alertlar (burn-rate), tergovlar, status-sahifa, avto-geytlar relizlari.

5) QoS va oqim klasslari

A sinfi (real vaqt, P1): SLI/SLO, sintetika, asosiy provayderlar (PSP/KYC). Yetkazib berish SLA: <5-10 c, ≥ 99. 9%.
B sinfi (operatsion): RCA, SLA uchun treys/loglar: <1-2 min.
C sinfi (tahliliy): agregatlar va batchlar lake/DWH, SLA: soat/sutka.
Sinf bo’yicha yo’naltirish → ustuvorlik, turli retensiyalar, alohida navbatlar/topiklar.

6) Sempling, agregatsiya, retenshn

Metrika: tarixiy qatorlarning downsampling (1s → 10s → 1m), pertsentil agregatlar, exemplars.
Treyslar: tail-based sempling (anomaliyalar, PSP xatolari, p99- «portlashlar» da ulushni oshirish).
Logi: profil bo’yicha daraja, siqish, shovqin chiqarish (health-pings, DEBUG - prodda taqiqlangan).
Retenshn: «issiq» (7-14 kun detal), «sovuq» (agregatlar/arxiv). Ma’lumotlarning per-klassi siyosati va qiymati.

7) Maxfiylik va komplayens

PII-gigiyena: identifikatorlarni maskalash/tokenlashtirish; telemetriyada KTS/kartochka tokenlari hujjatlarini taqiqlash.
Geo-mahalliylashtirish: yurisdiksiyalar bo’yicha saqlash; eksport - faqat tasdiqlangan workflow (shifrlash, TTL, audit) orqali.
Kirish nazorati: RBAC/ABAC telemetriya omborlariga, SoD tushirish uchun.

8) Oqimlarning ishonchliligi

Idempotentlik: voqealar uchun kalitlar, protsessorlarda dedup.
Backpressure: injest per-tenant/servis limitlari; ortiqcha yuklashda past prioritetli maydonlar uchun drop-siyosati.
Replays: brokerda saqlash ≥ qayta ishlash uchun 72 soat.
Dead-letter: xatolarni (sxema, o’lcham, PII-buzilish) alertlar bilan xavfsiz DLQga yo’naltirish.
Versionlash: sxemalarni (v1 + v2) o’zgartirishda «ikki oqimli» va iste’molchilarning migratsiyasi.

9) Multi-tenant va izolyatsiya

Har bir hodisada’tenant _ id/brand/region’teglari; per-tenant kvotalar va budjetlar.
Topiklar bo’yicha A/B oqimlarini izolyatsiya qilish; injest va saqlash bo’yicha showback/chargeback.
Eksport qilishda tenant chegarasigacha niqoblash/agregatsiya qilish.

10) Oqimlar katalogi (dalalar namunasi)

Identifikator: ’telemetry. payments. auth. success. rate. eu`

Sinf: A (real vaqt)

Схема: `{timestamp, tenant, region, psp, bank_bin_group, success_rate, window}`

Manba: OTel Collector + PSP-router metrics

Iste’molchilar: SLO-alertlar, Exec-dashbord, maqom-sahifa

Retenshn: issiq 30 kun, agregatlar 12 oy

Egasi: Payments SRE, dpo-owner (privacy)

SLO oqimi: kechikish <10 c p95, yoʻqotish <0. 1 %/sutka

11) Alerting va relizlar bilan integratsiya qilish

depozitlar/stavkalar uchun burn-rate (tez/sekin oyna) bo’yicha SLO-alertlar.
Release-gates: SLI kanareya tahlili; degradatsiyada avto-stop/rollback.
Status-sahifa: hodisa kartochkasidan yangilanishlar + SLI agregatlari.

12) Asosiy dashbordlar to’plami

Exec: aptaym, burn-rate, avtorizatsiya/stavkalar muvaffaqiyati (GEO/PSP bo’yicha), provayderlar maqomi, $/RPS telemetriya.
SRE/Platforma: RED/USE Services, lag navbatlar, outlier-deteksiya, eBPF-profillar.
Payments/Risk: bank konvertatsiyasi/PSP, soft/hard declines, KYC SLA, chargebackning erta signallari.
Cost-obs: manbalar bo’yicha injest hajmi, kardinallik top-leyblari, oqimlar bo’yicha qiymati.

13) Kuzatish moliyasi (FinOps)

KPI qiymati: $/GB ingest, $/trace, $/SLI-dashbord; «og’ir» metriklar va leybllar bo’yicha hisobot.
Optimallashtirish: agregatsiya va downsampling, dinamik sempling, chatti-loglarni tozalash, muhimligi bo’yicha saqlash klassi.
Siyosatlar: high-cardinality kvotalari, emissiya chastotasi limitlari, har chorakda bir marta review sxemalari.

14) Jarayonlar va rollar

Data/Observability Owners на домены (Payments, Games, Core API, Infra).
Sxemalar uchun Change-Control: PR-revyu, test stendlari, iste’molchilarga moslik.
Tabletop/Chaos-days: provayderlarni uzib qo’yish, brokerni ortiqcha yuklash, backpressure/idempotentlikni tekshirish.
Post-mortem: telemetriya tahlilini (signallarning yetarliligi, noto’g "ri ishlashlar, qiymat) o’z ichiga oladi.

15) Joriy etish yo’l xaritasi (8-12 hafta)

Ned. 1-2: joriy oqimlar auditi, manbalar xaritasi, SLO telemetriya maqsadlari, standartlarni tanlash (OTel, TSDB, treyslar, loglar).
Ned. 3-4: OTel-kollektorlar, yagona correlation-ID, bazaviy RED/USE + biznes-SLI depozit/stavka, v0 oqimlar katalogi.
Ned. 5-6: tail-based sempling, GEO bo’yicha sintetika, DLQ/idempotentlik, privacy-filtrlar.
Ned. 7-8: FinOps-panel (ingest/retention), downsampling, kardinallik kvotalari, SLO-alertlar (burn-rate).
Ned. 9-10: eBPF/past darajali signallar, fid maqom sahifasi, release-gates.
Ned. 11-12: chaos-testlar, narxlarni optimallashtirish, rasmiy SLA oqimlari, choraklik review sxemalarini ishga tushirish.

16) Artefaktlar shablonlari

Telemetry Stream Spec: id, egasi, sxema, QoS sinfi, manbalar, iste’molchilar, retenshn, SLO/alertlar, privacy-siyosat.
Schema PR Template: oʻzgarish/migratsiya, moslik, testlar, qaytarish rejasi.
Sampling Policy: anomaliyalarda semplingni ko’tarish qoidalari; maqsadli budjetlar.
Cost Review Pack: $/qiymat bo’yicha top-manbalar, TTL/agregatsiyalar bo’yicha takliflar.
Incident Telemetry Checklist: RCA uchun boʻlishi kerak boʻlgan grafiklar/treyslar/loglar roʻyxati.

17) Telemetriya oqimlarining KPI/KRI

Yetkazib berish: p95 sinf bo’yicha kechikishlar, yo’qolgan xabarlarning %/sutka.
Qoplash: trasingli kritik yo’llar ulushi> 90%, metrlar bilan yopilgan SLI ulushi.
Signallar sifati: shikoyatgacha SLI bo’yicha ushlangan hodisalar%, soxta/o’tkazib yuborilgan alertlar.
Narxi: telemetriya uchun $/RPS, $/trace, injestdagi «shovqin» ulushi.
Ishonchlilik: broker tanazzulga uchraganidan keyin tiklanish vaqti, repleyning hajmi.

18) Antipatternlar

High-cardinality metrika (userId, sessionId) TSDB.
Tuzilmasiz va sxemasiz yagona «qora quti».
DLQ/idempotentlik yo’qligi → dubli va cho’qqilardagi yo’qotishlar.
FinOps’siz «cheksiz» retensiyalar → hisoblarning eksponensial o’sishi.
Biznes kontekstsiz treyslar (PSP/bank/GEO) → past diagnostika.
→ buyruqlari o’rtasidagi kelishilmagan sxemalar iste’molchilar tomonidan buziladi.

Jami

Telemetriya oqimlari boshqariladigan, koʻp qatlamli tizim: OTel-standartlar va sxemalar → QoS va backpressure bilan ishonchli injest → sempling/agregatsiya va retensiyalar → maxfiylik va multi-tenant-izolyatsiya → SLO-alertlar, dashbordlar va relizlar geytlari. Bunday kontur erta signallar, tezkor RCA, oldindan aytib bo’ladigan xarajatlar va iGaming platformasining eng yuqori darajada barqarorligini beradi.