Amallar we Dolandyryş → Hadysalary çaklamak

Wakalary çaklamak

1) Bu näme üçin zerur?

Wakalar seýrek "hiç ýerden partlaýar". Platforma şowsuzlyga uçramazdan ozal signallary berýär: p99-yň çalt ösmegi, error-býudjetiň haýal tükenmegi, nobatlar, belli bir downstrimde retraýlaryň köpelmegi, üpjün edijiniň kwotalarynyň ýakynlaşmagy. Wakalary yzygiderli çaklamak, MTTR, Change Failure Rate we girdeji ýitgilerini azaldyp, reaksiýany "ýangyny söndürmekden" "irki gatyşmaga" geçirýär.

• Habarçylaryň nusgalaryny anyklamak we öňüni alyş çärelerini awtomatiki usulda başlamak.
• Çepe süýşüp P1/P2 paýyny azalt (pre-incident detect rate).
• Çaklamalary çykaryş, feýlower we capacity-öňüni alyş proseslerine goşuň.

2) Signal kartasy (lead indicators)

• Tizlenme p95/p99 (gradient), gijikdirmeleriň "guýruklary", üýtgeşikligiň ösüşi.
• Nobatlar/akymlar: ösüş 'lag' we oňyn emele gelen lag; HPA iň ýokary.
• BD/keş: 'active _ conns/max _ conns', 'replication _ lag', 'evictions', 'cache _ hit'.
• Tor: mTLS/handshake ýalňyşlyklary, 5xx/timeout beýikligi.

• 'outbound _ error _ rate '/' retry _ rate' belli bir üpjün edijä, 'circuit _ open', 'quota _ usage> 0. 9`.
• Üpjün edijiniň SLA-lary: meýilleşdirilen penjireler, zaýalanmalar.

• Anomal ýük (kampaniýalar/oýunlar), RPS/TPS böküşleri, sebitleriň/kanallaryň üýtgeşik garyndylary.
• Depozitleriň/stawkalaryň öwrülişigi p99 → kwazi-proxy hadysasy ýokarlananda düşýär.

• Burn-rate error-býudjet> bosagasy (mysal üçin> 4 × 10-15 minudyň içinde).
• SLO-nyň ýygy-ýygydan ownuk bozulmalary (mikro-zaýalanmalar) ýakynlaşýan şowsuzlygyň alamaty hökmünde.

3) Maglumatlaryň çeşmeleri we vitrinleri

Onlaýn teleemetriýa: Prometheus/OTel (metrikler, loglar, söwdalar).
Wakalaryň wakalary: biletler/statuslar/postmortemalar (maksat üçin hakykat).
Üýtgeşmeleriň meýilnamasy/faktlary: relizler, şahsyýetnamalar, migrasiýa, üpjün edijileriň penjireleri.
Gollanmalar: garaşlylyk kartasy, kwotalar, eýeler.
DWH-suratlar: okamak/tassyklamak üçin agregatlar (sinhron penjire!).

Hil talaplary: doly ≥ 99%, bir sagatlyk/minutlyk TZ tekizlemesi, p95/p99 kesgitlemeleri.

4) Çaklamaga çemeleşmeler

4. 1 Parametrik däl/düzgünler (çalt başlamak)

Üýtgemek tizligine çäkli alertler: 'deriv (p99)', 'z-score' gysga penjireler üçin.
Kompozit şertler: 'lag ↑ + HPA = max + circuit_open (to = "PSP-X")'.
SLO-burn-geýt: burn-rate> X.

4. 2 Anomaliýalaryň detekasiýasy

Seasonal baselines (STL/Prophet-şuňa meňzeş pikirler), rolling media + MAD.
Multivariate: bilelikdäki anomaliýa 'p99 + retry + open_circuit + quota'.
Tendensiýalaryň üýtgemegi üçin Change-point detection: CUSUM/BOCPD.

4. 3 ML-modeller (supervised)

"T + K hadysasy?" alamatlar penjiresi boýunça (mysal üçin, 10-30 minut öň).
Alamatlary: statistikalar, emele gelenler, möwsümleýin galyndylar, üpjün edijileriň/sebitleriň one-hot, goýberiş baýdaklary.
Bellikler: 'incident {severity ∈ [P1, P2]}' aralygynda [t, t + K].
Explainability: SHAP/Permutation importance ynam we operasiýa üçin.

4. 4 SRE-first gibrid

Model → töwekgelçilik (0-1) → hereket syýasaty (ficheflagy/feylower/pre-skeyl), tankyt üçin HITL bilen.

5) Alamatlaryň dizaýny (feature engineering)

Süýşýän penjireler (1/5/15 min): mean, p95/p99, std, max, slope.
Deňeşdirme görkezijileri: 'p99/baseline _ 1d', 'error _ rate _ delta'.
Kogort hileleri: üpjün ediji, sebit, oýun/oýun görnüşi, enjam kanaly.
"Ýüklemek" nokatlary: RPS, payload size, açylan WS-leriň sany.
Ulgamlaýyn: 'hpa _ desired/max', 'db _ conn _ ratio', 'redis _ evictions> 0'.
Waka baýdaklary: "goýberilýär", "kanareýa 10%", "üpjün edijiniň penjiresi".

6) Çaklamalaryň we hereketleriň mehanikasy

1. Her N sekuntda domen boýunça töwekgelçilik (Payments/Bets/Games/KYC).

• ≥ töwekgelçiligi 0. 8 + domen eýesiniň → page tassyklaýjy signallary;
• 0. 6–0. 8 → duýduryş + çäreleri taýýarlamak.

• öň-skeýl (HPA minReplicas ↑), nagt pul goşmak, agyr funksiýalary çäklendirmek;
• ätiýaçlyk üpjün edijä/ugruna geçmek;
• arakesme/kanareýkanyň rollbeki;
• "dar" aşak akymyna retraýlaryň çäkleri.

4. HITL: Adam "işewürlik hereketiniň üýtgemegi" derejesindäki çäreleri tassyklaýar.

7) Gündelik proseslere goşulmak

Relizler: kanareýkalarda öňünden aýdylýan oýunlar ("öň/soň" deňeşdirmek we töwekgelçilik-skoring).
Feýlower: üpjün edijiniň töwekgelçiligi bolan ýagdaýynda ätiýaçlyk marşruty awtomatiki taýýarlamak/gyzdyrmak.
Capacity: headroom ýykylanda we laglar ulalanda "early uplift".
Duýduryş: "pre-incident" aýratyn lenta + daşbordlarda düşündirişler.

8) Synlamak we daşbordlar

Töwekgelçilik Overview: domenler we üpjün edijiler boýunça töwekgelçilik, tendensiýalar, alamatlaryň goşantlary.
Lead Signals: Top-N habarçylary (gradient p99, lag, açyk breýkerler).
Actions & Outcomes: açylan, p95/error täsiri, ýatyrylan hadysalar.
Model Health: precision/recall/latency, drift alamatlar, awto-hereketleriň ýygylygy.

9) Çaklamalaryň hiliniň metrikleri

Recall @P1/P2 (möhüm hadysalara duýgurlyk).
Precision (az "ýalan jaň").
Lead Time ("hakykatdan näçe minut öň").
Intervention Win-rate (hereket töwekgelçiligi/çykdajylary azaldýan ýagdaýlaryň paýy).
Alert Fatigue Index (alert/smena/adam).
Drift Score (stat. alamatlaryň paýlanyşynyň tapawudy vs okuw döwri).

Adaty maksatlar: Yzyna al (P1) ≥ 0. 7, Precision ≥ 0. 6, Lead Time mediana ≥ 8-10 minut.

10) Töwekgelçilikleri dolandyrmak (ML Ops/Governance)

Maglumatlary/kody/artefaktlary wersiýalaşdyrmak, köpeldilmegi.
Çempion/Challenger: täze model paralel gidýär, deňeşdirme oflayn/onlaýn.
Drift: PSI/KL-diwergensiýa, bosagalaryň awto-gaýtadan sanalmagy, "model köne" alert.
Explainability: Her karar üçin alamatlaryň ähmiýetini we maglumatlara baglanyşygy saklamak.
Howpsuzlyk/etika: elýeterlilik, PII-maskalanma, syýasatçylaryň awtomatiki hereketlerine gözegçilik.

11) Düzgünleriň we syýasatlaryň mysallary

policy:
if slo_burn_rate{service="payments"} > 4 for 10m and release_phase in ["canary", "post-deploy_30m"]:
action: pause_release_and_rollback notify: squad-payments

risk_psp_x = sigmoid(
1. 2z(outbound_p99_ms) +
1. 5z(outbound_error_rate) +
0. 8z(retry_rate) +
1. 0I(quota_usage>0. 9) +
0. 7I(circuit_open=1)
)
if risk_psp_x > 0. 8 for 5m -> route_to_psp_y + reduce_features

if (consumer_lag > 5e6 and deriv(consumer_lag) > 5e4) and hpa_desired == hpa_max:
action: scale_consumers + throttle_producers + enable_batching

12) Giriş çek-sanawy (30-60 gün)

• Wakalar boýunça signallar we "hakykatlar" katalogy (severity, timeline).
• Esasy çyzyklar we esasy metrikler üçin möwsümlilik (goýberilmezinden öň/soň).
• Irki signallaryň düzgünleri (gradientler p99, lag, burn-rate).
• Daşbordlar Risk/Lead Signals/Actions.
• Ficheflages/kanareýkalar bilen integrasiýa, HPA deslapky skeili.
• Bir domende ML klassifikatorynyň piloty (mysal üçin, Payments).
• HITL syýasaty we awto hereketler magazineurnaly.
• Hil metrikleri we drift/model saglygy üçin aladalar.

13) Anti-patternler

"Kristal toplar": esasy çyzyklary we ýönekeý düzgünleri bolmadyk çylşyrymly ML modeli.
Actionability ýok: "erbet" diýip çaklaýarys, ýöne awtomatiki usulda hiç zat etmeýäris.
Möwsümliligiň/wakalaryň senenamasynyň ignory (oýunlar/ýaryşlar) → ýalan aladalar.
Wagt zolaklaryny garyşdyrmak → metrik/hadysalaryň nädogry penjireleri.
explainability → ynamsyzlyk, buýruklar tarapyndan çaklamany öçürmek.
Ähli domenler/sebitler üçin bitewi global çäk → pes takyklyk.

14) Domenleriň aýratynlyklary (iGaming)

Payments: üpjün edijiler/kwotalar, 'retry _ rate' we 'circuit _ open' → irki feýlower.
Bets: koeffisiýentleri täzelemegiň gijikdirilmegi, WS-janköýerlik ösüşi → ýaýlym çäkleri.
Games/Live: baglanyşyk partlamalary, studiýa çäkleri → UI/kesişiň zaýalanmagy.
KYC/AML: webhook gijikdirmeleri, tassyklama nobatlary → HITL we gijikdirilen gaýtadan işlemek.

15) Metrikleriň we alertleriň mysallary (pikirler)

ALERT PreIncidentRiskHigh
IF risk_score{domain="payments"} > 0. 8 FOR 5m
LABELS {severity="critical", team="payments"}

ALERT LeadSignalP99Slope
IF deriv(api_p99_ms{service="bets"}[5m]) > 15 AND api_p99_ms > baseline_1d 1. 2 FOR 10m
LABELS {severity="warning", team="bets"}

ALERT ProviderEarlyQuota
IF usage_quota_ratio{provider="psp_x"} > 0. 85 FOR 10m
LABELS {severity="info", team="integrations"}

ALERT StreamLagStorm
IF (kafka_consumer_lag{topic="ledger"} > 5e6 AND rate(kafka_consumer_lag[5m]) > 5e4)
AND hpa_desired == hpa_max FOR 10m
LABELS {severity="critical", team="streaming"}

16) KPI çaklama programmalary

Pre-Incident Detect Rate (Öňüni alnan/ýeňilleşdirilen hadysalaryň paýy).
Awg Lead Time wakadan öň.
Reduction in P1/P2 kw/kw.
MTTR (garaşylşy ýaly ↓ irki kontekstiň hasabyna).
False Alarm Rate/Alert Fatigue (yzygiderli ↓).
Cost Avoidance (Öňüni alnan ýitgileri/jerimeleri/overskeili bahalandyrmak).

17) Çalt başlamak (resept)

1. p99/lag we SLO-burn üçin gradient düzgünlerini açyň;

2. Üpjün edijiler üçin kompozit şertleri goşuň;

3. Çaklamany fiçeflaglar we deslapky skelet bilen baglanyşdyryň;

4. "Çaklama → hereket → täsir" hasabaty;

5. Bir domende ML piloty; Precision/Recall ösenden soň ulalyň.

18) FAQ

Q: ML bolmasa nireden başlamaly?
A: Möwsümleýin esasy çyzyklar + gradientler + kompozit düzgünler. Bu, kynçylyksyz Recall-yň ep-esli ýokarlanmagyny üpjün edýär.

Q: Fols-pozitiwlerde nädip gark bolmaly däl?
A: Signallary birleşdiriň, gisterezisi we tassyklama wagtyny giriziň, per-domen/sebit bosagalaryny sazlaň, Precision we Alert Fatigue baha beriň.

Q: Ilki bilen haýsy hereketleri awtomatlaşdyrmaly?
A: Howpsuz we yzyna gaýtaryp bolýan: öň skeyl, kesişleriň/zaýalanmalaryň açylmagy, kanareýkanyň arakesmesi/rollbeki, tassyklanan signallarda üpjün edijiniň çalşylmagy.