Telemetriýa akymlary

1) Maksady we mazmuny

Telemetriýa akymlary platformanyň işleýşi barada gözegçilik maglumatlarynyň üznüksiz akymyny üpjün edýär: näme bolýar, näme üçin we näçeräk çykdajy edýär. "iGaming" -de goýumlaryň/stawkalaryň zaýalanmagyny, daşarky üpjün edijileriň görünmegini (PSP/KYC/oýun studiýalary) we SLO/komplayensiň subut edilip bilinjek laýyklygyny irki tapmagyň açarydyr.

2) Telemetriýa çeşmeleriniň kartasy

Metrikler (TSDB): RED/USE, business-SLI (ygtyýarnamalaryň üstünligi, üstünlikli nyrhlaryň%).
Söwda (OTel): front arkaly haýyş zynjyrlary → API → brokerler → DB/PSP.
Loglar (gurluş): wakalar, amallaryň barlagy, ýalňyşlyklar.
RUM: TTFB/LCP, JS ýalňyşlyklary, geo/enjam.
Sintetika: dürli GEO-lardan daşarky synag amallary (login/goýum/" çägeli" nyrh).
Pes derejeli telemetriýa: eBPF/CPU/IO/alloc profilleri, tor p95/p99.
Daşky ýagdaýlary: PSP/KYC/CDN/WAF webhuklar/howuzlar.

3) Standartlar we shemalar

OpenTelemetry lingua franca: atributlaryň semantikasyny birleşdirmek (service. name, deployment. environment, enduser. id - gizlenýär, trace/SpanID, PSP kodlary).
Shema şertnamalary: wersiýalaşdyrmak, loglar/treýslar üçin schema registry, "breaking-changes" diňe ikilik baýdak we grace-döwür arkaly.
Correlation-ID: metrik percentillerde ähli gatlaklar + exemplars arkaly töleg/stawkalar üçin bir 'correlation _ id'.

4) Injest konweýeri (ýokary derejeli)

1. Producers: SDK/agentler/kollektorlar (düwünlerde OTel Collector).
2. Edge-bufer: ýerli nobatlar (memory/disk).
3. Transport: gRPC/HTTP OTLP → idempotency-açarlary bolan habarly broker (Kafka/Pulsar).
4. Prosessors: kadalaşmak, baýlaşdyrmak (GEO/tenant/kanal), PII-süzgüçler, inçe sempling.
5. Fan-out: TSDB-de (metrikler), ýollaryň ammarynda, log ulgamyna, lake/DWH-de, alerting/düzgünlerde.
6. Consumers: daşbordlar, SLO-alertler (burn-rate), derňewler, status-sahypa, awto-geýt relizleri.

5) QoS we akym synplary

A synpy (hakyky wagt, P1): SLI/SLO, sintetika, esasy üpjün edijiler (PSP/KYC). Eltip bermek SLA: <5-10 c, ≥ 99. 9%.
B synpy (operasiýa otaglary): RCA, SLA: <1-2 min.
C synpy (analitik): agregatlar we batçlar lake/DWH, SLA: sagat/gün.
Synp boýunça marşrut → ileri tutulýan, dürli retensiýalar, aýry-aýry nobatlar/topikler.

6) Sempling, agregasiýa, retenşn

Metrikler: taryhy hatarlary downsampling (1s → 10s → 1m), pertsentil agregatlar, exemplars.
Söwda: tail-based sempling (anomaliýalarda, PSP ýalňyşlyklarynda, p99- "partlamalarda" paýy ýokarlandyrmak).
Logi: profil boýunça dereje, gysyş, ses çykaryş (saglyk pingleri, DEBUG - proda gadagan).
Retenşn: "gyzgyn" (7-14 gün jikme-jiklik), "sowuk" (agregatlar/arhiw). Per-klas maglumatlar syýasaty we bahasy.

7) Gizlinlik we gabat gelmek

PII-arassaçylyk: kesgitleýjileri gizlemek/bellemek; telemetriýada KCS/kart bellikleriniň resminamalarynyň gadagan edilmegi.
Geo-lokalizasiýa: ýurisdiksiýalar boýunça saklamak; eksport - diňe tassyklanan workflow (şifrlemek, TTL, audit) arkaly.
Giriş gözegçiligi: RBAC/ABAC telemetriýa ammarlaryna, SoD düşürmek üçin.

8) Akymlaryň ygtybarlylygy

Idempotentlik: wakalara açarlar, prosessorlarda dedup.
Backpressure: injest per-tenant/hyzmat çäkleri; artykmaç ýüklenende pes ileri tutulýan ýerler üçin drop-syýasatlar.
Replays: gaýtadan işlemek üçin brokerde saklamak ≥ 72 s.
Dead-letter: ýalňyşlyklary alertler bilen howpsuz DLQ-e ugrukdyrmak (shema, ululyk, PII-düzgün bozma).
Wersiýalaşdyrmak: shemalary çalşanda "iki nokat" (v1 + v2) we sarp edijileriň göçmegi.

9) Multi-tenant we izolýasiýa

Her hadysada 'tenant _ id/brand/region' bellikleri; per-tenant kwotalar we býudjetler.
Topikler boýunça A/B akymlarynyň izolýasiýasy; injest we saklamak boýunça showback/chargeback.
Eksport edilende tenantyň çägine çenli maskalanmak/agregasiýa etmek.

10) Akymlar katalogy (meýdanlaryň mysaly)

ID: 'telemetry. payments. auth. success. rate. eu`

Synp: A (hakyky wagt)

Схема: `{timestamp, tenant, region, psp, bank_bin_group, success_rate, window}`

Çeşme: OTel Collector + PSP-router metrics

Sarp edijiler: SLO-alertler, Exec-daşbord, status-sahypa

Gaýtadan işlemek: gyzgyn 30 gün, agregatlar 12 aý

Eýesi: Payments SRE, dpo-owner (privacy)

SLO akymy: gijikdirme <10 c p95, ýitgi <0. 1 %/gün

11) Alerting we relizler bilen integrasiýa

Depozitler/stawkalar üçin burn-rate (çalt/haýal penjire) boýunça SLO-alertler.
Release-gates: SLI kanar derňewi; zaýalananda awto-stop/rollback.
Status-sahypa: Waka-kartoçkadan täzelenmeleriň görnüşi + SLI agregatlary.

12) Esasy daşbordlaryň toplumy

Exec: apteim, burn-rate, ygtyýarnamalaryň/nyrhlaryň üstünligi (GEO/PSP boýunça), üpjün edijileriň ýagdaýy, $/RPS telemetriýasy.
SRE/Platforma: RED/USE Services, lag nobatlar, outlier-deteksiya, eBPF profilleri.
Payments/Risk: banklara/PSP, soft/hard declines, KYC SLA, irki chargeback signallary.
Cost-obs: çeşmeler boýunça injestiň mukdary, kardinallygyň iň ýokary bellikleri, akymlar boýunça bahasy.

13) Gözegçilik maliýe (FinOps)

KPI bahasy: $/GB ingest, $/trace, $/SLI-dashboard; "agyr" metrikler we bellikler boýunça hasabat.
Optimizasiýalar: agregasiýa we downsampling, dinamiki sempling, söhbetdeşlikleri arassalamak, ähmiýeti boýunça saklamak synpy.
Syýasatlar: high-cardinality üçin kwotalar, emissiýa ýygylygynyň çäkleri, çärýekde bir gezek shemalara syn bermek.

14) Prosesler we rollar

Data/Observability Owners на домены (Payments, Games, Core API, Infra).
Shemalar üçin Change-Control: PR-review, synag stendleri, sarp edijilerde laýyklyk.
Tabletop/Chaos-days: üpjün edijileri öçürmek, dellalyň artykmaç ýüklenmegi, backpressure/idempotentligi barlamak.
Post-mortem: telemetriýanyň seljermesini goşmak (signallaryň ýeterlikligi, ýalan işleýşi, bahasy).

15) Durmuşa geçirmegiň ýol kartasy (8-12 hepde)

Ned. 1-2: häzirki akymlaryň barlagy, çeşmeleriň kartasy, SLO-nyň telemetriýa maksatlary, standartlary saýlamak (OTel, TSDB, söwda, loglar).
Ned. 3-4: OTel-kollektorlar, ýeke-täk correlation-ID, esasy RED/USE + biznes-SLI depozit/stawka, akym katalogy v0.
Ned. 5-6: tail-based sempling, GEO boýunça sintetika, DLQ/idempotentlik, privacy-süzgüçler.
Ned. 7-8: FinOps-panel (ingest/retention), downsampling, kardinallyk kwotalary, SLO-alertleri (burn-rate).
Ned. 9-10: eBPF/pes derejeli signallar, fid, release-gates status-sahypasy.
Ned. 11-12: chaos-synaglar, çykdajylary optimizirlemek, resmi SLA akymlary, çärýekleýin gözden geçiriş shemalaryny başlamak.

16) Artefaktlaryň şablonlary

Telemetry Stream Spec: id, eýesi, shema, QoS synpy, çeşmeler, sarp edijiler, retenşn, SLO/alertler, gizlinlik syýasaty.
Schema PR Template: üýtgetmek/göçmek, gabat gelmek, synaglar, yzyna gaýtarmak meýilnamasy.
Sampling Policy: anomaliýalarda semplingi ýokarlandyrmagyň düzgünleri; maksatlaýyn býujetler.
Cost Review Pack: $/gymmatlyklar boýunça iň ýokary çeşmeler, TTL/agregasiýalar boýunça teklipler.
Incident Telemetry Checklist: RCA üçin bolmaly grafikleriň/treýsleriň/ýazgylaryň sanawy.

17) KPI/KRI telemetriýa akymlary

Eltip bermek: p95 klas boýunça gijikdirmeler, ýitirilen habarlaryň %/gün.
Örtük: trasing bilen kritiki ýollaryň paýy> 90%, metrler bilen örtülen SLI-iň paýy.
Signallaryň hili: şikaýatlara çenli SLI tarapyndan tutulan hadysalaryň% -i, ýalan/sypdyrylan aladalar.
Bahasy: telemetriýa üçin $/RPS, $/trace, injestdäki "ses" paýy.
Ygtybarlylygy: broker zaýalanandan soň dikeldiş wagty, repleýleriň mukdary.

18) Antipatternler

TSDB-de ýokary cardinality metrikleri (userId, sessionId).
Gurluş we shemalar bolmazdan bir sany "gara guty".
DLQ/idempotentligiň ýoklugy → dubllar we iň ýokary derejedäki ýitgiler.
FinOps-siz "tükeniksiz" retensiýalar → hasaplaryň eksponensial ösüşi.
Işewürlik konteksti bolmadyk söwdalar (PSP/bank/GEO) → pes diagnostika.
→ buýruklarynyň arasyndaky utgaşdyrylmadyk shemalar sarp edijiler tarapyndan bozulýar.

Jemi

Telemetriýa akymlary dolandyrylýan, köp gatlakly ulgam: OTel-standartlar we shemalar → QoS we backpressure bilen ygtybarly injest → sampling/agregasiýa we bahasyna retensiýa → gizlinlik we multi-tenant-izolýasiýa → SLO-alertler, daşbordlar we çykaryş geýtleri. Şeýle kontur irki signallary, çalt RCA, öňünden aýdyp boljak çykdajylary we iň ýokary tertipde iGaming platformasynyň durnuklylygyny berýär.