Тізбектер мен тораптардың көрінуі

1) Бақылау міндеті мен объектісі

• толассыз себептері (басудан инвойсқа дейін);
• болжанатын SLO және басқарылатын тәуекел;
• жылдам RCA және төмен MTTR;
• телеметрияның ең төменгі құны кезінде дәлелдеу (қол қойылған мәліметтер, WORM-аудит).

2) Бақылау онтологиясы

• `chainId`, `nodeId`, `role`(operator/studio/psp/kyc/affiliate/stream), `jurisdiction`, `env`(prod/stage/sbx), `traceId`, `spanId`, `routeId`, `campaignId`, `tableId`, `apmRouteId`.

• `click`, `session_start`, `registration`, `kyc_status`, `deposit/withdrawal`, `ftd`, `bet/spin`, `reward_granted`, `postback_sent/received`, `jackpot_contribution/trigger`, `stream_sli`, `rg_guardrail_hit`.

• Metrics (RED/USE/Golden Signals), Traces (W3C traceparent), Logs (құрылымдық), Events (бизнес), RUM/Synthetic (клиент/арналар), Audit/WORM (өзгермейтін).

Барлық схемалар Schema Registry-де нұсқаланады; уақыт - UTC/ISO-8601.

3) Көлік және корреляция

OpenTelemetry: метриктердің/логтардың/спандардың бірыңғай пішімі; TSDB/өңдегіштерге экспорттаушылар.
W3C Trace Context: 'traceparent '/' tracestate' редиректорлар, API, вебхактар, шина арқылы лақтырылады.
Теңсіздік: сындарлы жолдардағы 'Idempotency-Key' (төлемдер/постбектер).
Exactly-once мағынасы бойынша: хэш дедуп/курстық тарих, вебхуктарды қайта ойнату тізілімі.
Exemplars: latency гистограммаларын жылдам RCA үшін нақты 'traceId' дегенге байланыстырамыз.

4) SLI/SLO моделі және қате бюджеттері

Golden Signals: latency, traffic, errors, saturation.
RED (НТТР/шлюздер): Rate, Errors, Duration.
USE (инфрақұрылым): Utilization, Saturation, Errors.

• Вебхактар: жеткізу ≥ 99. 9%, p95 ≤ 1-2 с.
• Әріптестердің API: p95 ≤ 150-300 мс, error rate ≤ 0. 3–0. 5%.
• Оқиға шинасы: lag p95 ≤ 200-500 мс; ≥ жеткізу 99. 9%.
• Төлемдер/АЖО: профиль дәлізіндегі CR; e2e авторизациялау ≤ X с.
• KYC: юрисдикция бейіндері бойынша pass-rate және SLA кезеңдері.
• Live/SFU/CDN: e2e 2-3 с, packet loss ≤ 1%, аптайм ≥ 99. 9%.
• Дашбордтар: жас ≤ 1-5 с; р95 рендер ≤ 1. 5–2. 0 с.

Қателер бюджеті: кезеңдерді (мысалы, 30 күн), қателер түрлерін (5xx, таймауттар, SLO бұзушылықтар), auto bonus/malus ережелерін және тоқтату кнопкаларын тіркейміз.

5) Дашбордтар: қабаттар мен артефактілер

1. Service Graph (шынжырлы түйіндер): топология, rps/eps, p95/p99, error-rate, saturation, юрисдикциялар бойынша heatmap ағындары.
2. Business Flow: клик → тіркеу → KYC → депозит → FTD → ставка/раунд → төлем; конверсиялық құйғыштар мен атрибуция терезелері.
3. Payments/KYC: CR × гео × құрылғы, істен шығу коды, кезеңдердің latency, аннотациялармен auto cut-over.
4. Content/RGS/Live: round-trip, error-rate, SFU/CDN SLI, көшбасшылар кестелері мен джекпоттар.
5. Postbacks/Attribution: уақыттылық, дау, дедуп, курсорлық лагтар.
6. Trust & Risk: тораптардың scorecards (SLO/ATTR/RG/SEC), «трейс-пакетке уақыт», Tier болжамы.

Әрбір тақтада - формулалар нұсқалары және changelog сілтемелері бар.

6) Алертинг және эскалация

Көп деңгейлі SLO-алерталар: ескерту (burn-rate 2 ×), сын (burn-rate 10 ×), келесі әрекеттер (маршруттарды/лимиттерді салқындату).
Композициялық триггерлер: «latency ↑ + CR ↓ + postback lag ↑» → PSP деградациясына күдік.
Рөлдік арналар: SRE/Payments/KYC/RGS/Маркетинг/Қаржы/Legal/RG; контексті бірден 'traceId '/' runbook '/тоқтату түймешігін қамтиды.
Шулы метриктер үшін Snooze/Muting саясаты, бірақ P1 өшірмей.

7) RCA и war-room

SLA трейс-пакетке: 60-90 с (P1/P2).
RCA үлгісі «кінәлі адамдарды іздемейді»: факт → гипотеза → эксперимент → қорытынды → әрекет → follow-up.
Релиздердің диффі (§ 2 оқиғасы): инцидент терезесіндегі коллизияларды/формулаларды/пішіндерді автоматты түрде тексеру.
Post-mortem SLO: детекторға дейінгі, үзіліске дейінгі, кері қайтуға дейінгі, тұрақтандыруға дейінгі, жазбалар жарияланғанға дейінгі уақыт.

8) Деректер сапасы және шығу тегі

Data Quality SLI: толықтығы, ашықтығы, бірегейлігі ('eventId'), валюта/локальдардың үйлесімділігі.
Lineage: сөрелерден/панельдерден көздерге (схемалар/нұсқалар/иелері).
Оракулдар: қол қойылған агрегаттар (GGR/NetRev/SLO/RG), 'formulaVersion', 'hash (inputs)', 'kid', кезең.
WORM-аудит: формулалардың/кілттердің/алып тастаулардың/инвойстардың өзгермейтін логтары.

9) Құпиялылық, юрисдикция және қауіпсіздік

Zero Trust: mTLS, қысқа өмір сүретін токендер, egress-allow-list, кілттердің ротациясы/JWKS.
PII-минимизация: 'playerId' токенизациясы, тек сейф-аймақтарда ғана детокенизациялау; логтарда/метриктерде ПДн тыйым салу.
ABAC/ReBAC/SoD: кіру «өзімнің және келісілген»; «өлшеймін ≠ әсер етемін ≠ өзгертемін».
Нарықтар үшін деректерді оқшаулау және DPIA/DPA; purge-саясат және TTL.

10) Телеметрия құны және түбегейлілікті басқару

Cardinality Budget: лейблдерге лимиттер (userId/URL/UA - тыйым салынған; routeId/campaignId - рұқсат етілген).
Ұшуда перцентильдердің орнына гистограммалар; exemplars таңдаулы егжей-тегжейлі ақпарат үшін.
Adaptive sampling tracking: негізгі пайыз + қателер/баяу жолдар/жаңа нұсқалар үшін басымдық.
Downsampling/roll-ups ескіру бойынша (1с → 1м → 5м); RAW-трестерді қысқа, агрегаттарды ұзақ сақтау.
SLO-first: шешімдерді қолдайтындарды ғана жинаймыз (SLO/қаржы/комплаенс).

11) Басқарумен интеграция (SRE, бизнес)

Релиздер мен кампаниялардың Guardrails SLO/қате бюджеттеріне байланысты.
Метриктер дәліздерден шыққанда APM/KYC маршруттарының Auto cut-over.
RevShare/лимиттер: 'Q' сапа көбейткіші (SLO/ATTR/RG/SEC-тен) мөлшерлемелер мен квоталарға әсер етеді.
Scorecards тораптар → трафиктің басымдығы және ұшқыштарға қол жеткізу.

12) Қарсы үлгілер

Формулалық метриктер мен түрлі терезелер бойынша «ақиқаттар көп».
Тарихты жүктемемен offset-пагинациялау (курсорларды пайдаланыңыз).
PII логтарда/панельдерде; PDn-ді BI-ға экспорттау.
Постбектер хайуанаттар бағы және қол қойылмаған вебхактар → дубль/тесіктер/даулар.
'traceId' жоқ бағандар: панелі әдемі, себебі жоқ.
Burn-rate және рөлдік бағыттары жоқ алерт-дауыл.
N + 1/DR жоқ SPOF-телеметрия агрегаторы.
TTL/аудитсіз ерекшеліктер - «жабысқақ» override-лар.

13) Чек парақтары

Жобалау

• Сигналдар мен схемалар онтологиясы; нұсқалары мен иелері.
• W3C traceparent барлық жерде; Idempotency-Key сыни жолдарда.
• SLI/SLO және қате бюджеттері; тоқтату кнопкасы; guardrails.
• Түбегейлі саясат, sampling, retention/roll-ups.
• Privacy/PII: токенизация, DPA/DPIA, локализация.
• Role-based алаңдары мен runbooks.

Іске қосу

• Трасса/метриктер/логтар үшін Conformance; synthetic-прогондар.
• Релиздер кезіндегі канареялық телеметрия; дейін/кейін салыстырмалы тақталар.
• War-room ойнатқыштары; SLA трейс-пакетте.

Пайдалану

• Апталық тораптар scorecards; burn-rate есептер.
• Ай сайынғы формулалар чейнджлогтары және SLO/лимиттерді қайта қарау.
• DR/xaoc-агрегаторлар/шиналар/витриналар жаттығулары.

14) Жетілудің жол картасы

v1 (Foundation): базалық метриктер + логтар, бірыңғай traceId, қол RCA, бастапқы SLO.
v2 (Integration): OpenTelemetry барлық жерде, service graph, guardrails, оракул конвейері, рөлдік алерталар.
v3 (Automation): болжамды тозулар, auto cut-over APM/KYC/RGS, smart-reconciliation, «Q» бойынша лимиттердің динамикасы.
v4 (Networked Governance): сигналдар мен оракулдардың тізбекаралық алмасуы, формула/SLO DAO-ережелері, мөлдір қазынашылық.

15) Жетістік өлшемдері

Сапасы/тәуекелі: MTTR ↓, MTTD ↓, даулылық <X%, auto-үзіліс/кері қайту үлесі, трассаларды жабу ≥ 95%.
Бизнес: CR/FTD/ARPU/LTV болжау uplift, бекеттердің дәлдігі мен уақтылығы, NetRev тұрақтылығы.
Техника: p95 API/вебхук/шиналар/дәліздердегі витриналар; тораптар/CDN/SFU ≥ 99. 9%.
Экономика: Cost-to-Observe (CTO) rps/event,% exemplars агрегаттары, RAW лимиттерде сақтау.
Комплаенс: 0 ПДн жылыстауы, сәтті DPIA/DPA-аудиттер, WORM-логтардың қолжетімділігі 100%.

Қысқаша түйіндеме

Көріну - бұл сенімнің өндірістік контуры: бір онтология, өтпелі трассалар, метрика мен оқиғалар каноникасы, SLO-гардрейл және деректер оракулы, әдепкі құпиялылық және телеметрия құнының тәртібі. Мұндай қаңқа шынжырлар мен тораптарды мөлдір, болжамды және дәлелденетін, ал экожүйені реакцияда жылдам және тәуекелдерге төзімді етеді.