Нақты уақыттағы мониторинг

(Бөлім: Операциялар және Басқару)

1) Неге real-time мониторинг

• критикалық маршруттардың қол жетімділігі мен кідірістерінің (p50/p95/p99) жылдам көрінуі;
• оқиғалардың тұтастығын бақылау (вебхактар, төлемдер, RTP/лимиттер);
• қаржылық қорғалуы (egress/1k оқиғалардың құны, клиринг/эскроу);
• комплаенсті (түбіртекті, PII-гигиенаны) сақтау.

2) Сәулет сұлбасы

1. Producers: сервистер, SDK, edge-тораптар, төлем/контент провайдерлері.

2. Ingest-шлюздер: backpressure және квоталармен 'metrics/traces/logs/events' қабылдағыштары.

3. Шина/стриминг: партиялануы бар брокер (tenant/region/route), replay үшін ретеншн.

4. Stream-processing: терезе агрегаттары (T + 5s/T + 1m), дедуп, уақытты қалыпқа келтіру, SLI есептеу.

5. Сақтау орындары: time-series (жедел), OLAP (тарихы), WORM-журналдар (аудит).

6. Аналитика және алертинг: SLO ережелері, статистикалық детекторлар, аномалист.

7. Дашбордтар мен рундар: әрекеттер үшін UI (pause/re-route/rollback/raise-limit).

• Метрикаға/оқиғаға арналған деректер contracts (сұлбалар, нұсқалар, валидация).
• Домендік оқиғаларды кепілді жариялау үшін Outbox/CDC.
• Idempotency және 'trace _ id/event _ id' дедупы.
• Clock sync: NTP/PTP, 'skew' түзету, уақыт сарқырамасы (event vs processing time).

3) Телеметрия және семантика түрлері

Metrics (SLI): есептегіштер/гейдждер/p-перцентилдердің гистограммалары.
Traces: өтпелі 'trace _ id/span _ id', байланысқан RPC, оқиға, вебхактар.
Logs: құрылымдалған, 'tenant _ id/region/version'.
Business events: `PaymentAuthorized`, `WebhookDelivered`, `RTPWindowClosed`.
Receipts: түбіртектер/қолтаңбалар (қаржы/күрделі операциялар үшін).

4) Уақыт және терезе

Уақыт түрлері: event-time, ingest-time, processing-time.
Терезелер: жылжымалы (5-30 с), тумблерлік (1-5 мин), кеш оқиғалар үшін су кідірісімен (watermark).
Ықшамдығы: ағынға біріктіріңіз (гистограммалардың нобайлары) → тек қажетті перцентті бина сақтаңыз.

5) Деректерді қалыпқа келтіру және олардың сапасы

Кірістегі валидация: сұлба/ауқымдар/міндетті өрістер; бас тартылғандар - себептері белгіленген карантинге жатқызылады.
Дедупликация: бойынша '(event_id, producer, seq)'; «seen-cache» дегенді + KV жадында сақтаңыз.
Метриканы түзету: «double count» және «flatline» қарсы (сенсорлар үнсіз).
Сэмплирлеу: high-QPS үшін - бейімделгіш, қателікпен; сыни SLI - толық.

6) SLI/SLO (референс)

North Star: өңірлер бойынша мақсатты p95 кезінде E2E Success Rate.

• per-арна/өңір қол жетімділігі.
• Негізгі бағыттар бойынша жасырындылық p50/p95/p99.
• Error-rate/Retry-rate.
• Вебхуктарды жеткізудің табыстылығы (түбіртектермен расталған%).
• Бағалардың/салықтардың тұрақтылығы ('quote = = checkout', ± 1 minor unit).
• Cost-SLI: 1k оқиғаның құны, egress/ingress бір бірлікке.

• Қол жетімділік ≥ 99. 28 күндік терезеде 95%.
• p95: витрина ≤ 120 мс, quote/checkout ≤ 250 мс.
• Вебхактар сәтті ≥ 99. 5 %/5-мин терезе.
• Δ quote↔checkout = 0 (±1 minor unit).
• Реакция P1 ≤ 10 мин, MTTR ≤ 60 мин.

7) Алертинг және жүндер (auto-actions)

Деңгейлер: P1 (SLO бұзылуы/шығудың жоқтығы), P2 (тозу), P3 (тренд/тәуекел).
Шуды азайту: дедуп бойынша 'trace _ id', себеп-салдарлық тізбектердің корреляциясы.

• «PriceMismatch» → refresh каталогы, салыстыру 'fx _ version/tax _ rule _ version', өтемақы саясаты;
• «WebhookLag» → воркерлерді қайта орнату, batch ұлғайту, кезектерге басымдық беру;
• «RTP Drift» → промо-пауза, төлем кестесін/нұсқасын тексеру, профильді қайтару;
• «Egress Surge» → компрессияны/кэш-пиннингті/баламалы маршрутты қосу.
• Эскалация: матрица 24 × 7, on-call ротация, арналар (чат/қоңырау/SMS).

8) Дашбордтар (жедел виджеттер)

Платформаның денсаулығы: қолжетімділік, p95/p99, error-rate, burn-down error-бюджет.
Интеграция/вебхактар: табыстылық, артта қалу, дубль/теңсіздік, түбіртектер.
Checkout/бағалар: витринаның айырмашылықтары, FX/Tax нұсқалары, істен шығу кейстері.
RTP/лимиттер: теор. vs observed RTP, лимиттердің іске қосылуы, экспозиция.
FinOps: cost per 1k, egress/ingress, бюджеттер/кап-алерта.
Security/Compliance: SoD, JIT, MFA, PII сұраулары, крит қолтаңбалары. операциялар.
Release/Flags: фич мәртебесі, канареялық аймақтар, инциденттермен байланысу.

9) Мультирегион және multi-tenant

'tenant/region' бойынша партиялану.
Өңірлер бойынша тәуелсіз SLO/квоталар; кросс-өңірлік тәуекелдерді шектеу (жергілікті іркіліс бүкіл әлемді «бояуын» болдырмау үшін).
Деректердің сенім аймақтары: PII/қаржы - рұқсат етілген жерлерде ғана; жалпы дашбордта - агрегаттар/хэштер.

10) Қауіпсіздік, құпиялылық, дәлелденушілік

ingest аутентификациясы: кілттер/мутуал-TLS, rate-limits, пакеттердің қолтаңбалары.
PII-барынша азайту: бастапқы белгінің орнына, маска/хэш-сәйкестендіргіштер.
Түбіртектер (receipts): Қаржылық/сыни оқиғалар үшін DSSE/қолтаңбалар.
WORM журналдары: аудит үшін өзгермейтін логтар, Merkle-тіліктер.
Access Control: RBAC/ABAC/ReBAC, сезімтал панельдерге арналған JIT.

11) Аномалистика және корреляциялар

Guardrails: SLI бойынша статикалық шектер.
Статистика: Трендтер үшін Shewhart/CUSUM/EWMA.
ML/сигналдар: маусымдылық/арналар/ASN/провайдерлер; релиздер/фичефлагтардың әсері.
Корреляциялар: оқиғаларды релиздермен, пішім өзгерістерімен, трафик жарылыстарымен, акциялармен байланыстыру.

12) Өнімділік және құн

Телеметрия бюджеті: QPS/көлемге cap; «сөйлейтін» метриктерді бракқа шығару.
Қысу/агрегаттау: downsampling тарихы (1с → 10с → 1мин), перцентті нобайларын сақтаңыз.
Egress-бақылау: жергілікті кэштер/агрегаттар, edge-алдын ала өңдеу.
Cost-aware тәуекелдер: егер құн/1k оқиғалар немесе egress жоспардан тыс болса, сигнал.

13) Интеграция және API келісімшарттары

'POST/ingest/metrics' (JSON/OTLP): аутентификация, квоталар, схема/нұсқа.
'POST/ingest/events' (қол қойылған): дедуп/TTL/nonce.
`GET /kpis? filters = region, tenant, route '- UI үшін агрегаттар.
'GET/traces/{ trace _ id}' - тізбекті ашу.
Вебхуки: `IncidentRaised`, `QuotaCapReached`, `PriceMismatch`, `WebhookLag`, `RTPDrift`.

14) Инциденттердің плейбуктері (short-form)

P1 Қолжетімділік ↓: роутингті ауыстырып қосу, circuit-breakers қосу, клиенттердің таймауттарын азайту, мәртебе туралы авариялық пост.
P1 Quote ≠ Checkout: freeze промо/баға динамикасы, кэштің форс-мүгедектігі, FX/Tax нұсқаларын салыстыру, өтемақы.
P1 WebhookLag: воркерлерді/бәсекелестікті, batch-өлшемін ұлғайту, маңызды емес вебхоктарды өшіру.
P2 RTP Drift: бонустарды тоқтату, төлем кестелерін/нұсқаларын тексеру, бақылау терезесін кеңейту, есеп беру.
P2 Egress Surge: компрессия, edge-кэш, трафиктің бір бөлігін көшіру, уақытша квоталар.

15) Мониторингтің өзінің сапа өлшемдері

UI/API қолжетімділігі ≥ 99. 9%.
Freshness: жедел панельдер үшін ≤ 30 с жаңартулар.
Completeness: ≥ 99. Деректердің 5% терезеге деректер жіберді.
Correctness: ≤ 0 эталонымен сәйкессіздік. 1%.
MTTA/MTTR алерт-пайплайн: P1 ≤ 1/10 мин.

16) Енгізу чек-парағы

• North Star және SLI/SLO жиынтығын өңірлер/арналар бойынша анықтау.
• Барлық телеметрия ағындары үшін data contracts және схемаларды енгізу.
• ingest-ті квоталармен, backpressure және дедуппен теңшеу.
• Watermarks-пен шинаны/стримингті және терезе агрегацияларын жаю.
• Уақыт-series/OLAP/WORM және түбіртектермен байланыс құру.
• Алерта + авто-руна, эскалация матрицасын жасау 24 × 7.
• SRE/Product/FinOps/Compliance/Partners рөлдері бойынша дашбордтар құру.
• PII-минимизацияны, қолтаңбаларды және RBAC/ABAC/ReBAC қосыңыз.
• FinOps-метриктерді (cost/1k, egress, сақтау) және қаптарды енгізіңіз.
• GameDay өткізу: веб-хуктар лаг, бағалар рассинхроны, ретрай-бурст, өңірдің бас тартуы.

17) iGaming/финтех байланысы

RTP & Limits: бақыланатын RTP мен лимиттерді минутпен/сағатпен бақылау, алерталар «over/under pay».
Төлемдер/төлемдер: авторизациялауды, клирингті және түбіртектерді толассыз жолдау; SLA PSP.
Аффилиаттар: конверсияларды жеткізу (вебхактар) және даулар → эскроу/салыстыру.
Промо: трафик жарылыстары → кезектерді қорғау және egress бағасы; бюджеттерге guardrails.

18) FAQ

Real-time барлық жерде міндетті бе?
Жоқ. «Ыстық» контурлар - секундтар/минуттар (инциденттер, төлемдер, вебхактар). Экономика/аналитика - минут/сағат.

Жалған дабылдармен қалай күресуге болады?
SLO-бағытталған шарттар, агрегаттау және «trace _ id» бойынша дедуп, релиздермен корреляция, табалдырықтар гистерезисі.

Барлық журналды мәңгі сақтау керек пе?
Жоқ. WORM - тек аудит/сыни ағындар үшін; қалғаны - downsampling/TTL.

Неліктен «quote ≠ checkout» кездеседі?
FX/Tax нұсқалары, кэштің мүгедектігі, дөңгелектеу. Нұсқалармен, SWR-стратегиямен және консистенция тестілерімен емделеді.

Түйіндеме: Нақты уақыттағы мониторинг - бұл тәртіп: қатаң деректер келісімшарттары, терезе есептеулері, қалыпқа келтірілген уақыт, түбіртектермен және SLO-алерталармен байланысу, оған қоса әрбір виджеттегі әрекет түймесі. Мұны дұрыс жасай отырып, сіз MTTR-ді қысқартасыз, бюджетті бақылауда ұстайсыз және экожүйені өңірлер мен тенанттар бойынша сенімді түрде кеңейтесіз.