Реалдуу убакытта мониторинг жүргүзүү

(Бөлүк: Операциялар жана башкаруу)

1) Эмне үчүн реалдуу убакыт мониторинг жүргүзүү

• маанилүү каттамдардын (p50/p95/p99) жеткиликтүүлүгүнүн жана кечигүүлөрдүн заматта көрүнүшү;
• окуялардын бүтүндүгүн контролдоо (Webhook, төлөмдөр, RTP/лимиттер);
• каржылык коопсуздук (egress/наркы 1k окуялар, клиринг/эскроу);
• комплаенстин сакталышы (квитанция, PII-гигиена).

2) Архитектуралык контур

1. Producers: кызматтар, SDK, edge түйүндөрү, төлөм/мазмун провайдерлери.

2. Ingest шлюздары: кабыл алуучулар 'metrics/traces/logs/events' менен backpressure жана квоталар.

3. шиналар/агымы: партиялаштыруу менен брокер (tenant/region/route), replay үчүн retenshn.

4. Stream-processing: терезе агрегаттары (T + 5s/T + 1m), дедуп, убакытты нормалдаштыруу, SLI эсептөө.

5. Сактоо: time-series (ыкчам), OLAP (тарых), WORM-журналдар (аудит).

6. Аналитика жана алертинг: SLO эрежелери, статистикалык детекторлор, аномалиялуу.

7. Дашборддор жана рундар: иш-аракеттер үчүн UI (пауза/re-route/rollback/raise-limit).

• Data contracts боюнча метрика/окуялар (схемалар, версиялар, валидация).
• Outbox/CDC домендик окуяларды кепилденген жарыялоо үчүн.
• Idempotency жана дедуп 'trace _ id/event _ id'.
• Clock sync: NTP/PTP, 'skew' коррекциясы, убакыт шаркыратмалары (event vs processing time).

3) Телеметрия жана семантика түрлөрү

Metrics (SLI): эсептегичтер/Гейджи/гистограммалар p-percentile.
Traces: аркылуу 'trace _ id/span _ id', RPC иш-чаралардын бир байламта.
Logs: структураланган, менен 'tenant _ id/region/version'.
Business events: `PaymentAuthorized`, `WebhookDelivered`, `RTPWindowClosed`.
Receipts: дүмүрчөктөр/кол (каржы/оор иш үчүн).

4) Убакыт жана терезелер

Убакыт түрлөрү: event-time, ingest-time, processing-time.
Терезелер: жылма (5-30 с), тумблер (1-5 мин), суу кечигүү менен (watermark) кеч окуялар үчүн.
Компакттуулук: агымга бириктирүү (гистограммалардын эскиздери) → гана зарыл болгон кагаз бин сактоо.

5) Маалыматтардын нормалдашуусу жана сапаты

Кириштеги валидация: схема/диапазондор/милдеттүү талаалар; четке кагылгандар - себептери белгиленген карантинге.
Дедупликация: по '(event_id, producer, seq)'; "seen-cache" эс + KV сактоо.
Метриканы оңдоо: "double count" жана "flatline" каршы (сенсорлор унчукпайт).
Sample: үчүн high-QPS - ылайыкташтырылган, ката менен; критикалык SLI - толук.

6) SLI/SLO (шилтеме)

North Star: E2E Success Rate боюнча максаттуу p95 аймактар.

• Жеткиликтүү per-канал/аймак.
• негизги жолдор боюнча p50/p95/p99 жашыруун.
• Error-rate/Retry-rate.
• Вебхуктарды жеткирүүнүн ийгилиги (квитанциялар менен тастыкталган%).
• Баалардын/салыктардын туруктуулугу ('quote = = checkout', ± 1 minor unit).
• Cost-SLI: 1k окуялардын наркы, бирдик үчүн egress/ingress.

• Жеткиликтүүлүгү ≥ 99. 28 күндүк терезеде 95%.
• p95: дисплей ≤ 120 мс, quote/текшерүү ≤ 250 мс.
• Webhook ийгиликтүү ≥ 99. 5 %/5-мин терезе.
• Δ quote↔checkout = 0 (±1 minor unit).
• P1 жооп ≤ 10 мин, MTTR ≤ 60 мин.

7) Alerting жана Runes (auto-actions)

Деңгээл: P1 (SLO үзгүлтүккө учуратуу/үмүтсүздүк), P2 (деградация), P3 (тренд/тобокелдик).
Ызы-чууну басаңдатуу: дедуп 'trace _ id', себеп-натыйжа чынжырларынын корреляциясы.

• "PriceMismatch" → refresh каталогу, салыштыруу 'fx _ version/tax _ rule _ version', ордун толтуруу саясаты;
• "WebhookLag" → Workers кайра орнотуу, көбөйүү, кезек артыкчылык;
• "RTP Drift" → жарнамалык тыныгуу, төлөм таблицасын/версиясын текшерүү, профилди кайтаруу;
• "Egress Surge" → компрессия/кэш-пиннинг/альтернативалуу жол кирет.
• Эскалация: матрица 24 × 7, on-call айлануу, каналдар (чат/чалуу/SMS).

8) Дашборддор (оперативдүү виджеттер)

Ден соолук платформа: жеткиликтүүлүк, p95/p99, Эррор-рейтинг, бурн-down Эррор-бюджет.
Интеграциялар/вебхактар: ийгилик, артта калуу, дубль/демпотенттик, квитанциялар.
Checkout/баалар: терезе айырмачылыктар, FX/Салык нускасы, баш тартуулар.
RTP/лимиттери: теор. vs observed RTP, лимиттерди ишке киргизүү, экспозиция.
FinOps: cost per 1k, egress/ingress, бюджеттер/cap-alert.
Security/Compliance: SoD, JIT, MFA, PII үчүн суроолор, кол крит. операциялар.
Release/Flags: fich статусу, Канар аймактар, окуялар менен байламта.

9) Multiregion жана multi-tenant

Партиялаштыруу 'tenant/region'.
Аймактар боюнча көз карандысыз SLO/квоталар; кросс-региондук алерттерди чектөө (жергиликтүү ийгиликсиздик бүткүл дүйнөнү "боёбошу" үчүн).
Маалымат ишеним зоналары: PII/финансы - уруксат берилген жерде гана; жалпы dashbord - агрегаттар/хэштер.

10) Коопсуздук, купуялуулук, далилдүүлүк

ingest Autentification: ачкычтар/mutual-TLS, rate-limits, кол топтомдор.
PII-минималдаштыруу: баштапкы ордуна токендер, маска/хэш идентификаторлор.
Дүмүрчөктөр (receipts): DSSE/каржылык/оор окуялар үчүн кол.
WORM журналдар: аудит үчүн өзгөрүлбөс Логи, Merkle-тилкелери.
Access Control: RBAC/ABAC/ReBAC, сезгич панелдер үчүн JIT.

11) Аномалия жана корреляциялар

Guardrails: SLI боюнча статикалык босоголор.
Статистика: тенденциялар үчүн Shewhart/CUSUM/EWMA.
ML/сигналдар: сезондук/каналдар/ASN/провайдерлер; релиздердин/фичефлагдардын таасири.
Корреляциялар: окуяларды релиздер, конфигурацияларды өзгөртүү, трафиктин көтөрүлүшү, акциялар менен байланыштырыңыз.

12) аткаруу жана наркы

Телеметрия бюджети: QPS/көлөмү боюнча cap; "дүңгүрөгөн" метриктерди четке кагуу.
кысуу/топтоо: downsampling тарыхы (1с → 10с → 1мин), калем эскиздерин сактоо.
Egress-Control: жергиликтүү кэш/агрегаттар, edge-алдын ала иштетүү.
Cost-aware Алерт: наркы/1k окуялар же egress планга чыгып кетсе, сигнал.

13) Интеграция жана келишимдер API

'POST/ingest/metrics' (JSON/OTLP): аутентификация, квота, схема/версия.
'POST/ingest/events' (кол коюлган): дедуп/TTL/nonce.
`GET /kpis? filters = region, tenant, route '- UI үчүн агрегаттар.
'GET/traces/{ trace _ id}' - чынжырды жайылтуу.
Вебхуки: `IncidentRaised`, `QuotaCapReached`, `PriceMismatch`, `WebhookLag`, `RTPDrift`.

14) Playbook окуялар (кыска-форма)

P1 Accessibility ↓: багыттоо которуу, circuit-breakers күйгүзүү, кардарлардын убакыт кыскартуу, абалы жөнүндө шашылыш билдирүү.
P1 Quote ≠ Checkout: freeze промо/баалардын динамикасы, форс-майыптык кэш, FX/Салык версияларын салыштыруу, компенсация.
P1 WebhookLag: Workers/атаандаштык жогорулатуу, batch көлөмү, маанилүү эмес Webhook өчүрүү.
P2 RTP Drift: тыныгуу бонустарды, төлөм таблицаларын/версияларын текшерүү, мониторинг терезесин кеңейтүү, отчет.
P2 Egress Surge: кысуу, edge-кэш, кыймылдын бир бөлүгү, убактылуу квота.

15) Сапат өлчөө өзү мониторинг

UI/API жеткиликтүүлүгү ≥ 99. 9%.
Freshness: оперативдүү панелдер үчүн 30 с ≤ такталар.
Completeness: ≥ 99. Булактардын 5% терезеге маалыматтарды жөнөтүшкөн.
Correctness: 0 ≤ стандарты менен айырмачылыктар. 1%.
MTTA/MTTR alert-payplayn: P1 ≤ 1/10 мин.

16) Киргизүү чек-тизмеси

• North Star жана региондор/каналдар боюнча SLI/SLO топтомун аныктоо.
• Бардык телеметрия агымдары үчүн data contracts жана схемаларды киргизүү.
• Квота, backpressure жана дедуп менен ingest.
• Watermarks менен Shine/Streaming жана терезе агрегаттарын жайылтуу.
• Time-series/OLAP/WORM жана дүмүрчөктөр менен байламта куруу.
• Alerty + auto-runes, 24 × 7 эскалация матрицасын ишке киргизүү.
• ролдору боюнча dashboard түзүү: SRE/Product/FinOps/Compliance/Partners.
• PII минималдаштыруу, кол жана RBAC/ABAC/ReBAC камтыйт.
• FinOps-метрика киргизүү (cost/1k, egress, сактоо) жана капка.
• Get GameDay: Last Webhook, Rassinchron баалар, retrai-бурст, аймактын баш тартуу.

17) iGaming/Fintech байланыш

RTP & Limits: байкалган RTP жана мүнөттө/саатта чектөөлөрдү көзөмөлдөө, "over/under pay" боюнча алерталар.
Төлөмдөр/төлөмдөр: авторизациялоону, клирингди жана квитанцияларды трасса аркылуу өткөрүү; SLA PSP.
Аффилиаттар: конверсияларды жеткирүү (вебхактар) жана талаш-тартыштар → эскроу/салыштыруу.
Промо: трафиктин жарылуусу → кезектерди коргоо жана egress баасы; бюджет боюнча guardrails.

18) FAQ

Real-time бардык жерде милдеттүү?
Жок. "Ысык" контурлар - секунд/мүнөт (инциденттер, төлөмдөр, вебхактар). Экономика/аналитика - мүнөт/саат.

Жалган тынчсыздануулар менен кантип күрөшүү керек?
SLO-багытталган шарттар, агрегаттоо жана дедуп 'trace _ id', релиздер менен корреляция, босоголордун гистерезиси.

Бардык журналды түбөлүккө сактоо керекпи?
Жок. WORM - аудит/критикалык агымдар үчүн гана; калган - downsampling/TTL.

Эмне үчүн "quote ≠ checkout" кездешет?
FX/Tax версиялары, кэш майыптыгы, тегеректөө. Версиялар, SWR стратегиясы жана консистенция тесттери менен дарыланат.

Резюме: Реалдуу убакыт мониторинги - бул тартип: катуу маалымат келишимдери, терезе эсептөө, нормалдаштырылган убакыт, дүмүрчөктөр жана SLO-алерттер менен байланыш, плюс ар бир widget иш баскычы. Муну туура жасоо менен сиз MTTRди кыскартып, бюджетти көзөмөлгө алып, экосистеманы аймактар жана тенанттар боюнча ишенимдүү масштабдайсыз.