SLO, SLA ва мониторинги эътимоднокӣ

(Қисм: Технология ва инфрасохтор)

Хулосаи мухтасар

SLO ҳадафи дохилии сифат аст, SLA ӯҳдадории беруна ба фармоишгар аст, SLI ин аст, ки мо сифатро чӣ гуна чен мекунем. Дар IGaming, калидҳои SLI: API ва мавҷудияти пардохт, таъхири хатсайрҳои интиқодӣ p95/p99, Time-to-Wallet (TTW), табдили пардохт, оғози бозӣ ва ченакҳои навбатӣ. Идоракунии эътимоднокӣ дар атрофи буҷаи хатогиҳо, огоҳиҳои бисёр сӯхта, дарвозаҳои равшан ва панелҳои визуалӣ бо эзоҳҳо сохта мешаванд.

1) Истилоҳот ва фарқиятҳо

SLI (Нишондиҳандаи сатҳи хизматрасонӣ) - нишондиҳандаи ченшуда (мас. таносуби дархостҳои бомуваффақият дар равзанаи вақт).
SLO (Ҳадафи сатҳи хизматрасонӣ) - арзиши мақсадноки SLI (масалан, "мавҷудияти 99. 9% дар 30 рӯз").
SLA (Созишномаи сатҳи хизматрасонӣ) - шартнома/масъулият бо ҷуброн; ба SLO-ҳои воқеӣ асос ёфтааст, аммо шартҳои ҳуқуқӣ ва тирезаҳои банақшагирифташударо дар бар мегирад.

Қоида: аввал SLI/SLO-ро дар дохили худ мӯътадил кунед ва танҳо баъд SLA-ро дар берун ислоҳ кунед.

2) Чаҳорчӯбаи SLI барои IGaming

ТЕКССЛО

Мавҷудият: муваффақи 2xx/3xx/ҳама дархостҳо.
Таъхир: p95/p99 бо хатсайрҳои асосӣ ('/амонат ', '/бет', '/бозӣ/init ').
Хатогиҳо: 5xx мубодила/танаффус.
Қаноатмандӣ/Навбатҳо: навбатҳои таъхирёфтаи пардохт/муомилот.

Бизнес SLI

Табдили пардохт: 'муваффақият/кӯшиш'.
TTW p95: Вақт аз дархости бозхонд то бақайдгирӣ.
Муваффақияти оғози бозӣ: ҷаласаҳои бозӣ, оғози провайдер.
Муваффақияти ҷараёни KYC/AML.

3) Буҷаи хатогӣ: чӣ гуна бояд ҳисоб кард

Буҷаи хато = 1 − SLO.
Мисол: Мавҷудияти 99 SLO. 9 %/30d ⇒ буҷети хато = 0. 1% вақт ≈ 43мин 12с дар равзанаи 30-рӯза.

success_ratio = success_requests / all_requests error_ratio  = 1 - success_ratio

SLO дар равзанаи лағжанда ҳисоб мекунад (30/7/1 рӯз) ва дар панели панелҳо намоён аст.

• "Сӯхтани" буҷа § релизҳои яхкунӣ, канарейкаро қатъ мекунем, дар субот кор карда истодаем.
• Захираи буҷавӣ → имкон медиҳад, ки тағиротҳои бештар (назоратшаванда) зуд-зуд иваз карда шаванд.

4) Намунаҳои SLO барои ҷараёнҳои калидӣ

• Мавҷудияти ≥ 99. 9 %/30d
• Таъхир p95 '/амонат '≤ 250 мс/30д
• Табдили пардохт ≥ ибтидои − 0. 3 %/24h
• TTW p95 (баромад) ≤ 3 дақиқа/24 соат

• Муваффақияти бозӣ дар ≥ 99. 5 %/7d p95 бозии init ≤ 600 ms/7d

• Муваффақияти кор ≥ 99 %/7e, ақибмонӣ <5 дақиқа (тирезаҳои қуллаи алоҳида).

5) Андозагирӣ: формулаҳо ва Prom-QL (ғояҳо)

promql sum(rate(http_requests_total{status=~"2..    3..",service="payments-api"}[5m]))
/
sum(rate(http_requests_total{service="payments-api"}[5m]))

promql histogram_quantile(0. 95,
sum by (le) (rate(http_request_duration_seconds_bucket{service="payments-api",route="/deposit"}[5m])))

promql histogram_quantile(0. 95,
sum by (le) (rate(ttw_seconds_bucket{flow="withdrawal"}[15m])))

promql sum(rate(payments_success_total[15m])) / sum(rate(payments_attempt_total[15m]))

6) Огоҳиҳои сатҳи сӯхтан (бисёр тиреза)

Фикр: мо меъёри ҷории истеъмоли буҷаро бо меъёри иҷозатдодашуда муқоиса мекунем.

• Сӯхтани зуд: 14 буҷа × дар 1 соат → саҳифа дар 5-15 дақиқа.
• Сӯхтани суст: 6 буҷет дар 24 соат → чипта, таҳлили сабабҳо.

yaml recording rule: job:http:success_ratio — заранее alert: SLOFastBurn expr: (1 - job:http:success_ratio{job="payments-api"}) > (1 - 0. 999) 14 for: 10m labels: { severity: "page" }

alert: SLOSlowBurn expr: (1 - job:http:success_ratio{job="payments-api"}) > (1 - 0. 999) 6 for: 1h labels: { severity: "ticket" }

7) Панели панелҳои "SLO-корт" ва системаи амалиётӣ

• Кортҳои хидматӣ: Дастрасӣ, p95, меъёри хатогӣ, меъёри сӯзондан, тавозуни буҷаи хатогӣ.
• Филтрҳо: 'env', 'минтақа', 'иҷорагир', 'версия'.
• Эзоҳҳо: Git SHA, навъи (канарӣ/кабуд-сабз), вақти гузариш.

• Муқоисаи устувор ва канарӣ.
• Қисмат аз ҷониби провайдерҳои PSP/бозӣ.
• Ба намунаҳо (trace_id) ва гузоришҳои марбута гузаред.
• Қафо ва қафои навбатӣ (ченакҳои USE).

8) Равандҳои SLO: дарвозаҳо, яхкунӣ, шиддат

Дарвозаҳо дар CD: Таблиғи канарӣ танҳо ҳангоми иҷрои прокси SLO иҷозат дода мешавад (мавҷудият, p95, conv).
Яхкунӣ: бо тавозуни зуд сӯзондан ё сифр буҷа - релизҳоро то барқароршавӣ қатъ кунед.
Афзоиш: SEV-матритса (SEV1 пардохт/амонатҳо, бозиҳои SEV2, SEV3 ақибгоҳ).
RCA: таҳлил бидуни пардохт, навсозии санҷишҳо/маҳдудиятҳо/phicheflags.

9) Маълумот/ML-SLO (барои тавсиядиҳандагон/LLM)

Таъхир: модели посухи p95 ≤ 300 ms (ё нишонаҳо/s ≥ N).
Прокси сифат: таносуби посухҳои дуруст/заҳролудшавии кам, ҳиссаи муфид.
Тару тоза: синну соли хусусиятҳо/маълумот ≤ соатҳои X.
Арзиши як чорабинии 1к: хароҷот дар буҷа.
Дарвозаҳои SLO ба релизҳои моделӣ муттаҳид карда шудаанд (паҳнкунии A/B/canary).

10) Тарҳи SLA дар асоси SLO

SLO-ҳои консервативиро ҳамчун асос барои SLA-ҳо интихоб кунед.
Истисноҳоро муайян кунед (фаъолиятҳои банақшагирифташуда, провайдерҳои вобастаи беруна, тартиботи ҳодиса).
Ҷубронро аз рӯи сатҳи вайронкунӣ (қарз/тахфиф), механизмҳои ҳисоботдиҳӣ ва санҷиш ворид кунед.

11) Хатогиҳои зуд-зуд ва зидди намунаҳо

SLO вуҷуд надорад, танҳо "вақти 100%" ғайривоқеӣ аст, безарар мегардонад ва хатарҳоро пинҳон мекунад.
Огоҳӣ барои "ҳар як метрик" ба ҷои сатҳи сӯхтан - ҳушдор-фатиг ва нодида гиред.
Омезиши PII дар ченакҳо/гузоришҳо барои SLO - хавфҳои мутобиқат.
Кардинализм таркиш мекунад: 'корбар _ id/session _ id' ҳамчун тамғакоғазҳо.
Набудани эзоҳҳо - деградатсияро бо тағирот пайваст кардан душвор аст.
Буҷаи хатои ношаффоф - даста намефаҳмад, ки кай "шумо метавонед" хавфҳоро бардоред.
SLO ба тиҷорат вобаста нест - ченакҳои техникӣ "сабз", даромад "сурх" аст.

12) Рӯйхати санҷиши амалисозӣ

1. Тасдиқи SLI-ҳои асосӣ (Мавҷудият, p95/p99, Хатогӣ, TTW, Табдил).
2. SLO-ро дар тирезаҳои 30/7/1 насб кунед ва буҷаи хатогиро ҳисоб кунед.
3. Қоидаҳои сабт ва огоҳиҳои сатҳи сӯхтанро илова кунед (зуд/суст).
4. Сохтани харитаи SLO бо эзоҳҳо ва муқоисаи канарӣ/устувор.
5. Дарвозаҳоро ба CD дохил кунед: бе SLO-ok - бе таблиғ.
6. Тартиби яхкунӣ ва матритсаи шиддатёбии SEV -ро ворид кунед.
7. Пайвасти SLO ба ченакҳои тиҷорат (conv, TTW) ва хатсайрҳои пардохт.
8. Барои маълумот/ML, таъхир/сифат/тару тоза-SLO-ро муайян кунед.
9. Нусхаҳои мунтазами RCA ва SLO/ҳадди ниҳоӣ (ҳар семоҳа).
10. Ҳуҷҷати SLA танҳо пас аз мӯътадил шудани SLO.

13) Намунаҳои ҳадафҳои "омода" (ҳамчун оғоз)

Умумии API: Мавҷудияти 99. 9 %/30д; p95 ≤ 250 мс/30д; Хатогии дараҷаи ≤ 0. 3 %/30d

Пардохтҳо: Табдили ≥ базавӣ − 0. 3 %/24h; TTW p95 ≤ 3 дақиқа/24 соат

Бозиҳои init: Муваффақият ≥ 99. 5 %/7д; p95 ≤ 600 ms/7e

Корҳои Backoffice: Муваффақият ≥ 99 %/7d; қафо ≤ 5 дақ/7д

LLM/Reco: токенҳо/s ≥ N, скрипкаҳои заҳролуд. ≤ 0. 5 %/7d, тару тоза ≤ 6h.

Хулоса

Равиши SLO/SLA эътимодро аз "беҳтар аз дирӯз" ба интизоми андозагирӣ табдил медиҳад: SLI-ҳои шаффоф, буҷаи хатогии фаҳмо, огоҳиҳо дар бораи суръати сӯзишворӣ, панелҳои фаҳмо ва дарвозаҳои сифатӣ, ки дар релизҳо сохта шудаанд. Ин контур ба платформаи IGaming пешгӯишавандаи p95/p99, пардохтҳои устувор ва TTW медиҳад, ки маънои даромади беҳтар ва ҳодисаҳои камтарро дар соатҳои гармтарин дорад.