Мониторинг ва сабти ном

1) Чаро он дар IGaming муҳим аст

Пул дар вақти воқеӣ: қабули пасандозҳо, пардохтҳои фаврӣ, ҳисоб кардани бурдҳо ва бурдҳо, мусобиқаҳо - ҳама чиз ба таъхир ва нокомӣ ҳассос аст.
Танзим ва аудит: пайгирии пурраи амалҳо талаб карда мешавад (KYC/AML, пардохтҳо, маҳдудиятҳои бозии масъул).
Меъмории тақсимшудаи мураккаб: дарвозаҳои API, оркестри пардохт, EDA/Kafka, хидматҳои провайдер, мизоҷони мобилӣ, фронтҳо, автобуси BI.
Ҳадаф: кам кардани MTTD/MTTR, нигоҳ доштани SLO дар сигналҳои тиллоӣ ва таъмин намудани сатҳи ҳодисаҳо.

2) Мафҳумҳои асосии мушоҳида

Гузоришҳо: рӯйдодҳои муфассал (JSON сохташуда), ки барои тафтишот ва аудит мувофиқанд.
Нишондиҳандаҳо: агрегатҳо дар вақташ (TSDB), ки барои SLO/огоҳиҳо мувофиқанд.
Нишонаҳо: занҷирҳои сабаб ва самарабахши дархостҳо (пайгирӣ/фосила) тавассути хидматҳо/брокерҳо/пойгоҳи додаҳо.

Чорабиниҳо: чорабиниҳои доменӣ (Bet

3) "Сигналҳои тиллоӣ" ва SLI/SLO барои IGaming

Таъхир: P95/P99 дар ҷараёни интиқодӣ (иҷозат, амонат, меъёр, оғози сессия, чарх).
Ҳаракати нақлиёт: RPS аз ҷониби API, TPS бо пардохт, EPS аз рӯи ҳодиса.
Хатогиҳо: ҳиссаи 5xx/4xx, сатҳи коҳиш, нокомӣ дар дохили хатогиҳои провайдер.
Қаноатмандӣ: CPU, хотира, IO, Кафка ақиб, пайвастҳои DB, ришта-ҳавзҳо.

• SLI: '1 - (failed_payments/ total_payments)'
• SLO: 99. 7% иҷозатномаҳои бомуваффақияти корт дар 30 рӯз (буҷаи хатогӣ 0. 3%).

4) Меъмории ҷамъоварӣ ва коркард

1. Тазриқ: агентҳо (OTel Collector/Fluent Bit), SDK дар барнома, RUM/синтетика.
2. Масир: брокер/телеметрия автобус (OTLP/HTTP/GRPC), филтрҳо ва ниқоби PII.

• Нишондиҳандаҳо: TSDB (агрегатсия, пастшавӣ).
• Гузоришҳо: гарм (индексатсияшуда )/гарм (камтар индексатсия )/хунук (нигоҳдории объект, WORM).
• Роҳҳо: нигоҳдории индексатсияи вақт бо нигоҳдорӣ ва интихоби думҳо.
• 4. Таҳлил/огоҳиҳо: қоидаҳо (Prom
• 5. Панели панелҳо: намудҳои техникӣ + бизнес (пардохтҳо, RNG/провайдерҳо, муҳаррики мусобиқа).

5) Стандарти Log (JSON) ва таксономияи рӯйдодҳо

Сабти қатъии JSON, калидҳои ягона ва сатҳҳо тавсия дода мешаванд.

Уровни: 'DEBUG

Таксономия: 'auth.', 'пардохт.', 'gameplay.', 'хавф.', 'psp.', 'kyc.', 'rg.' (бозии масъул), 'ops.'.

json
{
"ts": "2025-11-04T19:45:31. 842Z",
"lvl": "AUDIT",
"event_type": "payment. deposit_approved",
"correlation_id": "c-7d2c1f0b",
"trace_id": "2d6a9c0e4c0b1f72",
"span_id": "9f3a81d2a1c3b764",
"request_id": "r-8f12de9e",
"tenant": "brand_eu",
"psp": "acq_xyz",
"user_id_hash": "u:sha256:1e63…",
"device_id": "d-3c8f…",
"ip_trunc": "203. 0. 113. 0/24",
"amount_minor": 5000,
"currency": "EUR",
"result": "approved",
"latency_ms": 312,
"tags": ["pci_safe", "kyc_passed", "low_risk"],
"extra": {
"bin": "411111",
"method": "card",
"region": "EU",
"ab_test": "checkout_v2"
}
}

• Мо PAN/BIN-ро ниқоб мекунем (мо танҳо майдонҳоро бо сиёсат дуруст нигоҳ медорем), почтаи электронӣ/телефон - hash/token.
• IP ба/24, мағозаи Geo
• Мо матни ройгонро дар "иловагӣ" барои вуруди корбар бидуни беҳдошт манъ мекунем.

6) Коррелятсия: trace_id, correlation_id, idempotency_key

Илова кардани 'trace _ id' (аз OTel), 'span _ id', 'correlation _ id' (ниҳоӣ барои раванди тиҷорат), 'idempotency _ key' (барои дархостҳои пардохт) ба ҳар як журнал ва метрик.
Интиқоли бағоҷ (иҷорагир/бренд, бозор, варианти A/B) барои сохтани иловаро.

7) Нишондиҳандаҳо: Техникӣ ва тиҷорат

Техникӣ: RPS, p95 таъхир, сатҳи хатогӣ, пуррагӣ, GC, истифодаи ҳавз, ақибмонии истеъмолкунандаи Кафка.
Тиҷорат: Бақайдгирии CR → депозит, иҷозатномаҳои бомуваффақият, бекор кардани пардохтҳо, NGR/GGR, ARPPU, аномалияҳои RTP, тарки мактаб дар қадами KYC, ҳиссаи маҳдудиятҳои масъул.

promql sum(rate(http_requests_total{status=~"5.."}[5m]))
/
sum(rate(http_requests_total[5m]))

8) Пайгирӣ ва кушодани телеметрия

Мо дарвоза, оркестри пардохт, ядрои бозӣ, огоҳиҳо, KYC/AML, ҳамгироӣ бо провайдерҳоро месозем.
Интихоби сар барои ҷараёни умумии + интихоби дум (баландшуда) барои хатогиҳо/паҳнои ниҳонӣ ва пардохтҳо.

Паҳнкунии контекст: 'traceparent '/' tracestate', сарлавҳаҳои Кафка, метамаълумоти g

Эзоҳ додани фосила бо рӯйдодҳои домейн: 'БетПед', 'Дар дохили дархост'.

9) Ҳушдор бидуни садо

Ҳадди марҳилаҳои марҳилавӣ (огоҳӣ/интиқодӣ), фишурдани фишурда, такрорӣ, ҷойҳои вақт.
Таносуб: мо "5xx афзоиш" + "Кафка ақиб" + "p95 таъхири PSP" → як ҳодисаро мепайвандад.
Огоҳиҳо дар асоси SLO: хароҷоти буҷа - афзоиш.
Огоҳиҳо-as-Code (Git-Ops), санҷишҳои баррасӣ ва қоидаҳо.

yaml groups:
- name: payments rules:
- alert: PaymentErrorSpike expr: (sum(rate(payment_errors_total[5m])) / sum(rate(payment_attempts_total[5m]))) > 0. 02 for: 10m labels: { severity: "critical", team: "payments" }
annotations:
summary: "Payment errors> 2% per 10m"
runbook: "runbooks/payments/error-spike. md"

10) Ҷустуҷӯи журнал (масалан, Log ​ ​ QL)

logql
{app="psp-orchestrator", level=~"ERROR    FATAL"}
= "decline"
json amount_minor > 10000 region="EU"

Ҳадаф ин аст, ки зуд садои алафҳои бегона ва нишон додани камбудиҳои "гарон" дар минтақаи мавриди ҳадаф.

11) Панели панелҳо: чӣ ҳатмист

Пардохтҳо Саломатӣ: муваффақият/нокомӣ аз ҷониби PSP, таъхир бо усул, харитаи минтақаҳо, провайдерҳои SLA.
Game Core: RPS аз ҷониби провайдерҳо, p95 чарх, таносуби хатогӣ SDK, аномалияҳои RTP аз рӯи ҷойҳо.
Сафари бозингар: бақайдгирӣ → KUS → depozit → igra → vyvod.
Инфра: Кафка ақибмонӣ, пайвастҳои DB, таносуби зарбаи кэш, кластери Кубернетес (шабакаи подаҳо/гиреҳҳо).

12) Нигоҳдорӣ, нигоҳдорӣ ва арзиш (FIN)

Кардинализм таҳти назорат аст: аз ченакҳо бо тамғакоғазҳои хеле тағйирёбанда канорагирӣ кунед (user_id).
Нигоҳдорӣ: ченакҳои гарм 30-90 рӯз, то 13 моҳ; регҳо гарм 7-14 рӯз, гарм 30-90 рӯз, хунук 1-3 сол (бо назардошти танзим).
WORM/тағйирнопазирии гузоришҳои аудит, Object Lock.
Сиёсати фишурдасозӣ/тақсимкунӣ ва ILM; индексҳои алоҳида барои аудит/PII-бехатар.
Сабти сабтҳо дар INFO/DEBUG; ХАТО/АУДИТ - пурра.

13) Бехатарӣ ва риояи

PII/PCI: токенизатсия, хэш, ниқоб; кам кардани маълумот.
RBAC/ABAC: дастрасӣ ба гузоришҳо/роҳҳо - аз рӯи нақш, ҷудо кардани абрҳо.
Асрҳо ва калидҳо: эътимоднома/нишонаҳоро сабт накунед; детекторҳои махфӣ дар CI.
Роҳи аудит: вурудот ба ҳайати маъмурӣ, тағирот дар маҳдудиятҳо/пардохтҳо, тасҳеҳи тавозуни дастӣ - танҳо ба шохиси AUDIT, ҳамеша.
Нигоҳдории ҳуқуқӣ: механизми яхкунӣ дар тафтишот.

14) Сифати маълумоти телеметрӣ

Феҳристи схема барои гузоришҳо/рӯйдодҳо (версия, мутобиқат).
Номенклатураи ягонаи майдонҳо (snake_case, воҳиди ченак).
Санҷиш ҳангоми тазриқ (тарки ҳодисаҳои ифлос, ченакҳои издивоҷ).
Backpressure ва муҳофизат аз "тӯфони журнал".

15) Равандҳои SRE, зангҳои онлайн ва дафтарҳои корӣ

Матритса ва авҷгирии oncall; Соатҳои ором ва гардиш.
Китобчаҳо бо огоҳиҳо алоқаманд карда мешаванд (қадамҳои ташхисӣ, дорухатҳои SQL/Log-QL, phicheflags барои таназзул).
Постмортем бидуни ҷарима, ашёи амал бо соҳибон ва мӯҳлатҳо.
Нишондиҳандаҳои гурӯҳ: MTTD/MTTR, фоизи огоҳиҳои ғалоғула, фарогирии Runbuk.

16) RUM ва синтетика

RUM: Web-Vitals (LCP, CLS, INP), хатогиҳои пешина, изи ангуштони дастгоҳ, минтақаҳо/провайдерҳо.
Синтетика: сенарияҳои "registratsiya → depozit → spin → vyvod" аз минтақаҳои гуногун; маконҳои хусусӣ барои роҳҳои дохилӣ (идораи маъмурӣ/бозгашт).

17) Амалияи релизҳо, таҷрибаҳо ва phicheflags

Мо сурудҳоро бо версияҳои озодкунӣ (содир/артефакт) пайваст мекунем.
Барчаспҳои A/B дар бағоҷ → панели "таъсири таҷриба ба SLI".
Canary/кабуд-сабз: панелҳои алоҳида барои канарейкаҳо, меъёри сӯхтани буҷа.

18) Сигналҳои аномалия ва зидди қаллобӣ

Триггерҳои оморӣ (огоҳии мавсимӣ) оид ба коҳиш/пардохт-хавф/афзоиши кортҳои нав.
Таносубҳо: "афзоиши пасандозҳои номуваффақ + нашри нави адаптер PSP".
Қоидаҳои ҷараён (Кафка → Флинк) барои аксуламалҳои вақти воқеӣ.

19) Харитаи роҳсозӣ (аз рӯи марҳила)

Марҳилаи 0 - Асос: гузоришҳои JSON, майдонҳои ягонаи коррелятсия, ченакҳои асосии хизматрасонӣ, панелҳои умумӣ, огоҳиҳои аввал.
Марҳилаи 1 - Пайгирӣ: Асбоби OT bel, интихоби сар + дум, пайвастшавӣ бо гузоришҳо.
Марҳилаи 2 - Бизнес SLI/SLO: пардохтҳо/натиҷаҳо/ченакҳои бозӣ, огоҳиҳои SLO, равандҳои хатогӣ.
Марҳилаи 3 - Камолот: Огоҳӣ-as-Code, ILM, нигоҳдории алоҳида, аномалия-муайянкунӣ, амалияи ҳар як хидмат, SRE дар CI/CD.

20) Рӯйхати назоратӣ

• JSON танҳо гузоришҳо, калидҳои ягона, ниқоби PII.
• Дар ҳар як ҳолат: 'trace _ id', 'span _ id', 'correlation _ id', 'иҷорагир'.
• Нишондиҳандаҳо сигналҳои тиллоӣ ва ҷараёни тиҷоратро фаро мегиранд.
• SLO-ҳо тавсиф карда шудаанд, буҷаи хатогӣ ва огоҳӣ дар бораи сатҳи сӯхтан мавҷуд аст.
• Интихоби думҳо барои хатогиҳои пардохт ва таъхирҳои баланд фаъол аст.
• ILM ва WORM барои сабтҳои аудит танзим карда шудаанд.
• RBAC барои телеметрия, аудити дастрасӣ.
• Панели панелҳо барои пардохтҳо/Бозии Core/Journey Player/Infra.
• Китобҳои корӣ ба ҳар як ҳушдори интиқодӣ баста шудаанд.
• Постмортемҳо ва ашёҳои амал - дар ақиб бо соҳибон.

Замимаи A: Хусусиятҳои кушодаи телеметрӣ (тавсия)

'service. ном ',' хидмат. версияи ',' ҷойгиркунӣ. муҳит '

'клоуд. минтақа ',' k8s. подабон. ном ',' k8s. контейнер. ном '

'иҷорагир', 'бренд', 'бозор', 'ab _ test', 'user _ segment'

'пардохт. усули ',' psp ',' бозӣ. провайдери ',' бозӣ. нест '

Замимаи B: Намунаҳои ченакҳо барои SLO

'пардохт _ муваффақият _ таносуб', 'бозхонд _ ttw _ p95' (вақт ба ҳамён), 'psp _ latency _ p99'

'game _ spin _ latency _ p95', 'провайдер _ хатогӣ _ rate', 'kafka _ consumer _ lagh'

'auth _ success _ таносуб', 'kyc _ step _ dropout', 'cache _ hit _ таносуб'

Замимаи C: Дастурҳои тафтишотии зуд

"Парвариши 'пардохт _ хатогӣ _ меъёри' → бо PSP/минтақа/усул муқоиса кунед, думҳоро тафтиш кунед, ба озодкунии адаптер нигаред.
пайгирии "p99 spins =", пеши → geytvey → провайдери провайдер/каналҳо, маҳдудиятҳои ҳавзи ришта, кашидани шабака.
"Кафка ақиб" → истеъмолкунандагони саломатӣ, истеҳсолкунандагони ретро, пушту паноҳ, дастгоҳҳои суст/DB.