Байкоо жана телеметрия

(Бөлүк: Технология жана инфраструктура)

Кыскача резюме

Байкоо - бул жооп жөндөмү "ал эмне үчүн мындай иштейт?" жаңы имараттарды чыгарбай. iGaming бул өтө маанилүү болуп саналат: жогорку турнир, төлөм чокулары, көп аймактуу жана жоопкерчиликтүү gambling/PII боюнча талаптар. Базис - жалпы идентификаторлор жана стандарттар (OpenTelemetry), SLO контракттары, ызы-чууга чыдамдуу алертинг жана наркын контролдоо менен бириктирилген метриктер, логдер, трассалар.

1) Байкоо алкагы: эмнеден турат

Метрика (убакыт саны): RED/USE, бизнес-KPI, SLI. TSDB сакталат.
Логи (текст окуялар/JSON): аудит, каталар, бизнес-фактылар, коопсуздук.
Tracking (Spain): кызмат аркылуу суроо жолу, жашыруун, кечигүү себептери.
Профилдер: CPU/эс/eBPF агымдары, heap/lock контеншн.
RUM жана синтетика: чыныгы колдонуучулар (web/app) + робот текшерүү.
Телеметрия каталогу: схемалар, PII саясаты, сактоо мөөнөтү, нарк тегдери.

2) Сигналдардын таксономиясы жана принциптери

RED для API: Rate, Errors, Duration.
Инфраструктура үчүн USE: Utilization, Saturation, Errors (CPU, дисктер, тармак, кезек).
SLI/SLO: өлчөнүүчү көрсөткүчтөр (мисалы, ийгиликтүү суроолор/бардыгы, p95 latency), жеткиликтүүлүк максаттары (мисалы, "99. 9% 30 күн"), бюджет каталар → триггер жараяндар.
акылдуу менен High-cardinality: этикеткалар кесилишинде пайдалуу болушу керек (аймак/тенант/провайдер), бирок TSDB жардырууга болбойт.

3) Стандарттар жана толук байланыш

OpenTelemetry (OTel): бир SDK/метрика үчүн протокол, Логин жана Tracking.
Идентификаторлор: 'trace _ id', 'span _ id', 'correlation _ id', 'player _ id' (псевдоним), 'payment _ route'.
ID агып: кириш шлюз → бардык микросервистер → төлөмдөр/PSP → кезек/goobs → логи/метрика/спендер.

Мисал: корреляция аталыштары

traceparent: 00-<trace_id>-<span_id>-01 x-request-id: <correlation_id>

4) Метрика: эмне жана кантип өлчөө

Аталышы/лейблдери

`service="payments-api"`, `env="prod"`, `region="eu-west"`, `tenant`, `provider="pspX"`.

Prometheus мисалдар

prometheus
RED http_requests_total{service="api",route="/deposit",method="POST",status="200"}
http_request_duration_seconds_bucket{service="api",le="0. 25",route="/deposit"} 1234 http_request_errors_total{service="api",route="/deposit"}

USE cpu_utilization_ratio{node="n1"} 0. 71 queue_depth{queue="withdrawals"} 128

Бизнес payments_success_total{psp="X",currency="EUR"} 4521 payment_conversion_ratio{route="pspX"} 0. 948

Гистограммалар жана exemplars

Латенттүүлүк гистограммаларын (native-histograms/ β uckets) сактаңыз жана "жай бакеттен" белгилүү бир трассага секирүү үчүн 'trace _ id' менен exempları байлаңыз.

5) Logy: структуралуу жана коопсуз

JSON гана (эч кандай "free-form" тукуму).
Поля: `timestamp`, `severity`, `service`, `trace_id`, `correlation_id`, `player_id_hash`, `event`, `amount`, `currency`, `ip_hash`.
PII Masking/Hashing, сезгич үчүн жеке индекстер/retention.
Piplays: парсинг → нормалдаштыруу → байытуу (geo/ASN) → түзөтүү PII → индекстөө.

JSON-окуялар мисал

json
{
"ts":"2025-11-05T10:42:31Z",
"sev":"ERROR",
"service":"payments-api",
"event":"psp_timeout",
"trace_id":"9c5e...e2",
"route":"pspX",
"duration_ms": 3100,
"attempt":2,
"player_id_hash":"p:1b7f...",
"pii_redacted":true
}

6) Tracking: кайда убакыт жоготот

Spain: кириш суроо-талап, провайдерлердин чалуулары (PSP/оюн провайдерлери), BD/кэш, сервистер аралык RPC.
Атрибуттар: 'db. system`, `net. peer. name`, `messaging. system`, `psp. route`, `game. provider`.

• көлөмү үчүн head-based (ыктымалдык),
• tail-based (шарттары боюнча: каталар, p95 +, VIP-сегмент),
• guaranteed-keep үчүн төлөм/PII-критикалык.

7) Front байкоо жана Мобайл

RUM: TTFB, FCP/LCP/CLS/INP, JS каталар, тармак жана SPA-роутинг.
Crash Reports: символикалоо, деобфускация, Билд версиясы, түзмөк/OS.
Синтетика: кирүү/депозиттик сценарийлер/чендер; гео-бөлүштүрүлгөн текшерүүлөр.

8) SLO, SLI жана бюджет каталар

SLO мисал (psevdo-YAML)

yaml service: payments-api sli:
- name: availability expr: sum(rate(http_requests_total{status=~"2..    3.."}[5m]))
/ sum(rate(http_requests_total[5m]))
- name: latency_p95 expr: histogram_quantile(0. 95, rate(http_request_duration_seconds_bucket[5m]))
targets:
availability: "99. 9%/30d"
latency_p95: "<=250ms/30d"
error_budget_policy:
fast_burn: 5% for 1h -> page, freeze deploy slow_burn: 20% for 24h -> incident, improvement plan

"Ар бир метрика" боюнча эмес, каталардын бюджети боюнча алертинг.
Бюджет күйүп жатканда Freeze-жол-жоболору: релиздерди/канареяны чектөө.

9) эч кандай ызы-чуу Alerting

Multi-window, multi-burn эрежелери: кыска/узун терезе.
Дедупликация/рутинг: on-call боюнча кызматтар/региондор/сын.
Runbook URL жана контексттин Auto Collection (акыркы деплоиддер, конфигурацияларды өзгөртүү, көз карандылык тилкеси).
пландаштырылган иш учурунда тынч саат жана басуу.

Эреженин үлгүсү (PromQL идеясы)

promql alert: PaymentsSLOFastBurn expr: slo_error_rate_5m > 2 slo_budget_rate for: 15m labels: { severity="page", service="payments-api" }
annotations:
summary: "SLO fast burn"
runbook: "https://runbooks/payments/slo"

10) Профилинг жана eBPF

eBPF/профилдери: CPU/alloc жалындуу графалары, I/O-латенттүүлүк, тармактык тамчылар, Syscall аномалиялары.
p99 тар жерлерде пайдалуу, "Jitter" жана сейрек илинип.

11) Бизнес байкоо (продукт & тобокелдик)

Финансы/акча табуу: депозиттерди конвертациялоо, TTW (убакыт-to-wallet), авториз ./сеттл, жокко чыгаруу/чарджбеки.
Оюн ишмердүүлүгү: retenshn/стрик, live-коюмдардын үлүшү, провайдерлердин "жабышчаак".
Антифрод/абьюз: иш-аракеттердин ылдамдыгы, түзмөктөрдүн/IP дал келиши, корреляциялар.
RG-көрсөткүчтөр: узакка созулган сессиялар, "догон", Biftek өсүшү.
Бизнес-метриктер техметриктер жана релиздер менен байланышат (annotation events).

12) Коопсуздук, PII жана шайкештик

Data-zones: datacets/logs теги ('pii = true', 'region = EU').
Индекстөөгө чейин жашыруу, идентификаторлорду псевдонимизациялоо.
аудит үчүн WORM-сактоо; Логинге жетүү.
Сактоо мөөнөтү: техлогдор/аудит/бизнес үчүн ар түрдүү.
Логтордо чийки сырларга тыюу салуу; CI сканерлөө.

13) Наркы башкаруу (FinOps)

Кардиналдуулук чеги: сак 'user _ id', 'session _ id'.
Партия/retenshn: ысык (7-14 күн), жылуу (30-90), муздак (архив).
Sampling жолдору (tail-based) жана downsampling метрик.
'team', 'service', 'tenant' деген тегдер боюнча биллинг: отчеттор "ким байкоо өрттөп жатат".

14) Инструменттер (референс-стек)

Metrics: Prometheus/Lake үчүн Metric, Dashboard Grafana.
Loki: Loki/ELK; ingestion эрежелери, reduction/парсинг.
Соода: Tempo/Jaeger/OTel-жыйноочулар; exemplars-метрикалык линиялар.
синтетика: Blackbox экспорттоочу, браузер роботтор.
Alerting: Alertmanager/чат интеграциясы, on-call ротация.
Профилинг: eBPF/continuous profiling.

15) мисалдар: тез негизин киргизүү

python from prometheus_client import Counter, Histogram, start_http_server reqs = Counter('http_requests_total','', ['route','method','status'])
lat = Histogram('http_request_duration_seconds','', ['route'])
def handle(req):
with lat. labels(route=req. route). time():
status = app(req)
reqs. labels(route=req. route,method=req. method,status=str(status)). inc()

go tid:= ctx. Value("trace_id")
logger = logger. With("trace_id", tid)
logger. Info("deposit-accepted", "amount", amt, "route", route)

prometheus http_request_duration_seconds_bucket{..., le="0. 25"} 1023 # exemplar: trace_id=9c5e...

16) Процесстер жана операциялык

Бирдиктүү сөздүк метр/лейблдер (naming-guide) жана Design dashboard.
Release-annotations тилкесинде автоматтык.
Инциденттер: карта, таймлайн, RCA айыпсыз, action items.
Машыгуу сигналдары ("оюн-күнү"): кулап, PSP кечигүү, кэш ысып тууроо.
Runbooks: этап-этабы менен көрсөтмөлөр жана Auto Алерт шилтемелер.

17) Жетилгендик чек тизмеси

1. OTel SDK/коллектор → бирдиктүү экспорттук метриктер/Логи/соода.
2. RED/USE бардык кызматтарды жабат + SLI/SLO негизги API боюнча.
3. Корреляция 'trace _ id' ⇄ логи ⇄ метрика (exemplars, jump-links).
4. multi-burn жана рунабук-шилтемелер менен бюджет каталар боюнча Алерта.
5. RUM + синтетика боюнча "депозиттик/коюм/чыгаруу".
6. Профилинг (eBPF) ак тизме боюнча прод боюнча.
7. PII-саясаты: камуфляж, аймактар, жетүү, сактоо мөөнөтү.
8. Телеметрия наркы боюнча финансылык отчет (тегдер 'team/service').
9. "Эң жогорку жүктөмгө даярдык": тест-план, кэш жылытуу, өзгөчө шаблондор.
10. Үзгүлтүксүз RCA жана SLO/босоголорду кайра карап чыгуу.

18) Антипаттерндер

Логи "шейшеп" жок түзүлүшү жана 'trace _ id'.
Ар бир метрика боюнча алерталар → alert-fetIg.
туура бакет жок гистограммалар → "жалпак" p95.
Чексиз кардиналдуулук этикеткалар → жарылуу наркы.
RUM/синтетиканын жоктугу - "баары жакшы", бирок колдонуучу жок.
Технлогдор менен PII аралаштыруу, чексиз retentia.
Телеметрияны бизнес-KPIден обочолонтуу - "жашыруундуулук төмөндөйт, киреше да төмөндөйт".

Натыйжалары

Күчтүү байкоо продукт, SRE, коопсуздук жана төлөмдөрдүн ортосундагы жалпы тил болуп саналат. ОТелдин астындагы метриктерди, логилерди, жолдорду бириктирүү, SLOну ката бюджети менен киргизүү, алертингди акылдуу кылуу жана башкарылуучу чыгым, сиз мурда көйгөйлөрдү байкаган, тезирээк калыбына келтирүүчү жана трафиктин туу чокуларынан жана турнирдик жүктөмдөрдөн өтүүчү системаны аласыз.