Predicția incidentelor privind operațiunile și gestionarea →

Previzionarea incidentelor

1) De ce aveți nevoie de ea

Incidentele rareori "explodează de nicăieri. "Înainte de eșec, platforma dă semnale: creșterea accelerată a p99, burnout lent din bugetul de eroare, cozi de așteptare, creșterea retroys pe un anumit aval, se apropie de cotele furnizorului. Predicția incidentului sistemic traduce răspunsul de la „stingerea incendiilor” la „intervenția timpurie”, reducând MTTR, rata de eșec a schimbării și pierderile de venituri.

• Identificați modele precursoare și inițiați automat acțiuni preventive.
• Reduceți cota de P1/P2 prin trecerea la stânga (rata de detectare înainte de incidente).
• Construiți predicții în procesele de eliberare, feilover și preempțiuni de capacitate.

2) Indicatori de plumb

• Accelerație p95/p99 (degrade), „cozi” de întârzieri, creșterea variației.
• Cozi/fluxuri: „lag” de creștere și decalaj derivat pozitiv; HPA la maxim.
• DB/cache: 'active _ conns/max _ conns',' replication _ lag ',' evacuări ', drop' cache _ hit '.
• Rețea: mTLS/erori de strângere de mână, creștere 5xx/timeout spre exterior.

• 'outbound _ error _ rate '/' retry _ rate' la un anumit furnizor, 'circuit _ open', 'cota _ utilizare> 0. 9`.
• Furnizor SLA: ferestre planificate, degradare.

• Sarcină anormală (campanii/meciuri), salturi RPS/TPS, amestecuri regionale/canale neobișnuite.
• Depozit/rata de conversie scade cu p99 creștere → incident cvasi-proxy.

• Burn-rate error-budget> prag (de exemplu,> 4 × timp de 10-15 minute).
• Încălcări minore frecvente ale SLO (micro-degradare) ca marker al eșecului apropierii.

3) Surse de date și marte de date

Teleemetrie online: Prometheus/OTel (valori, busteni, trasee).
Evenimente incidente: bilete/stări/postmortems (adevărat pentru țintă).
Schimbați planul/faptele: eliberări, phicheflags, migrații, ferestre furnizor.
Directoare: harta dependenței, cote, proprietari.
DWH-instantanee: unități pentru instruire/validare (fereastră sincronă!).

Cerințe de calitate: ≥99% integralitate, aliniere oră/minut TZ, definiții uniforme p95/p99.

4) Abordări de predicție

4. 1 Non-parametrice/reguli (pornire rapidă)

Alerte prag pentru rata de schimbare: „deriv (p99)”, „z-score” pentru ferestre scurte.
Condiții compozite: 'lag↑ + HPA = max + circuit_open (to =' PSP-X ')'.
Porți de ardere SLO: eliberare/oprire canar la burn-rate> X.

4. 2 Detectarea anomaliilor

Linii de bază sezoniere (idei STL/Profet-like), rulare mediană + MAD.
Multivariat: anomalie articulara 'p99 + retry + open_circuit + cota'.
Detectarea punctului de schimbare: CUSUM/BOCPD pentru schimburi de tendințe.

4. Modele de 3 ML (supravegheate)

Clasificarea „incident în T + K?” prin fereastra caracteristică (de exemplu, 10-30 min înainte).
Caracteristici: statistici, derivați, reziduuri sezoniere, furnizori/regiuni unice, steaguri de lansare.
Etichete: 'incident{severity∈[P1,P2]}' in interval [t, t + K].
Explicabilitate: SHAP/Importanța permutării pentru încredere și operabilitate.

4. 4 SRE-primul hibrid

Model → risc de scoring (0-1) → politica de acțiune (phicheflags/feilover/pre-scară), cu HITL pentru critici.

5) Inginerie caracteristică

Ferestre glisante (1/5/15 min): medie, p95/p99, std, max, pantă.
Indicatori relativi: 'p99/baseline _ 1d', 'error _ rate _ delta'.
Caracteristici cohortă: furnizor, regiune, tip joc/meci, canal dispozitiv.
Caracteristici „încărcare”: RPS, dimensiunea sarcinii utile, numărul de WS deschise.
Sistem: 'hpa _ desired/max', 'db _ conn _ ratio', 'redis _ evacions> 0'.
Steaguri de eveniment: „lansare în curs de desfășurare”, „canar 10%”, „fereastră furnizor”.

6) Mecanica și acțiunile de predicție

1. Scoring risk la fiecare N secunde după domeniu (Plăți/Pariuri/Jocuri/KYC).

• risc ≥ 0. 8 + semnale de confirmare → pagina proprietarului domeniului;
• 0. 6–0. 8 → avertisment + pregătirea măsurilor.

• pre-scanare (minReplicas↑ HPA), activarea cache-urilor, limitarea funcțiilor grele;
• Comută la furnizorul de backup/traseu
• pauză/rollback canari;
• limita de retransmisie la „îngust” în aval.

4. HITL: O persoană confirmă măsurile privind nivelul „schimbării comportamentului de afaceri”.

7) Integrarea în procesele zilnice

Versiuni: porți predictive pe canari (înainte/după comparație și scor de risc).
Feilover: pregătirea automată/încălzirea rutei de rezervă cu riscul furnizorului.
Capacitate: „ridicare timpurie” cu căderea în picioare și creșterea lag-urilor.
Alerte: furaje separate „pre-incident” + adnotări în tablouri de bord.

8) Observabilitate și tablouri de bord

Prezentare generală a riscurilor: riscul pe domenii și furnizori, tendințele, contribuția caracteristicilor.
Semnale de plumb: harbingers de top-N (degrade p99, lag, întrerupătoare deschise).
Acțiuni și rezultate: ce a pornit, efect asupra p95/eroare, incidente anulate.
Model Sănătate: precizie/rechemare/latență, derivă de semne, frecvența de auto-acțiuni.

9) Valorile calității predicției

Rechemare @ P1/P2 (sensibilitate critică la incidente).
Precizie (mai puține „pagini false”).
Timp de plumb (mediana „câte minute înainte de fapt”).
Rata de câștig de intervenție (proporția cazurilor în care acțiunea a redus riscul/costul).
Alert Fatigue Index (alertă/schimbare/persoană).
Drift Score (stat. diferențe în distribuția caracteristicilor față de perioada de formare).

Obiectivele implicite sunt Recall (P1) ≥ 0. 7, Precizie ≥ 0. 6, Timp de plumb mediu ≥ 8-10 min.

10) Model de management al riscului (ML Ops/Guvernare)

Versionare date/cod/artefact, reproductibilitate.
Champion/Challenger: noul model rulează în comparație paralelă, offline/online.
Drift: PSI/KL-divergență, auto-enumerarea pragurilor, alertă „modelul este depășit”.
Explicabilitate: pentru fiecare soluție, stocați importanța caracteristicilor și link-ul către date.
Securitate/etică: acces, mascare PII, controlul acțiunilor auto de către politicieni.

11) Reguli și politici de probă

policy:
if slo_burn_rate{service="payments"} > 4 for 10m and release_phase in ["canary", "post-deploy_30m"]:
action: pause_release_and_rollback notify: squad-payments

risk_psp_x = sigmoid(
1. 2z(outbound_p99_ms) +
1. 5z(outbound_error_rate) +
0. 8z(retry_rate) +
1. 0I(quota_usage>0. 9) +
0. 7I(circuit_open=1)
)
if risk_psp_x > 0. 8 for 5m -> route_to_psp_y + reduce_features

if (consumer_lag > 5e6 and deriv(consumer_lag) > 5e4) and hpa_desired == hpa_max:
action: scale_consumers + throttle_producers + enable_batching

12) Lista de verificare a implementării (30-60 de zile)

• Catalog de semnale și „adevăruri” de incidente (severitate, termene).
• Valorile inițiale și sezonalitatea pentru valorile cheie (pre/post-eliberare).
• Regulile semnalului timpuriu (p99, lag, degradeuri ale ratei de ardere).
• Riscuri/Semnale de plumb/Tablouri de bord acțiuni.
• Integrarea cu phicheflags/canari, pre-scară HPA.
• ML clasificator pilot pe același domeniu (de ex. Plăți).
• Politicile HITL și jurnalul de activitate auto.
• Măsurători de calitate și alerte pentru modelul de derivă/sănătate.

13) Anti-modele

„Bile de cristal”: un model ML complex, fără linii de bază și reguli simple.
Fără acțiune: prezicem „rău”, dar nu facem nimic automat.
Ignorarea sezonalității/calendarului evenimentelor (meciuri/turnee) → alarme false.
Amestecarea fusurilor orare → valori incorecte/ferestre incidente.
Lipsa de explicabilitate → neîncredere, dezactivarea predictorului cu comenzi.
Un singur prag global pentru toate domeniile/regiunile → precizie redusă.

14) Specificitatea domeniului (iGaming)

Plăți: furnizori/cote, creștere „retry _ rate” și „circuit _ open” → fals timpuriu.
Pariuri: întârziere în actualizarea coeficienților, fan WS creștere → limita de difuzare.
Jocuri/Live: piroane de conexiune, limite de studio → degradare UI/cache-uri.
KYC/AML: întârzieri ale cârligelor web, cozi de verificare → HITL și procesare amânată.

15) Exemple de valori și alerte (idei)

ALERT PreIncidentRiskHigh
IF risk_score{domain="payments"} > 0. 8 FOR 5m
LABELS {severity="critical", team="payments"}

ALERT LeadSignalP99Slope
IF deriv(api_p99_ms{service="bets"}[5m]) > 15 AND api_p99_ms > baseline_1d 1. 2 FOR 10m
LABELS {severity="warning", team="bets"}

ALERT ProviderEarlyQuota
IF usage_quota_ratio{provider="psp_x"} > 0. 85 FOR 10m
LABELS {severity="info", team="integrations"}

ALERT StreamLagStorm
IF (kafka_consumer_lag{topic="ledger"} > 5e6 AND rate(kafka_consumer_lag[5m]) > 5e4)
AND hpa_desired == hpa_max FOR 10m
LABELS {severity="critical", team="streaming"}

16) Programul de predicție KPI

Rata de detectare înainte de incidente.
Avg Lead Time înainte de incident.

Reducerea P1/P2 QoQ

MTTR (↓ preconizat din cauza contextului timpuriu).
Rata de alarmă falsă/oboseala de alertă (↓ stabilă).
Evitarea costurilor.

17) Pornire rapidă (rețetă)

1. Activarea normelor privind degradeurile privind p99/lag și SLO-burn;

2. Adăugați condiții compozite pentru furnizori;

3. Legați predicatul la phicheflags și pre-scară;

4. Predicția raportului → acțiune → efect;

5. ML pilot într-un singur domeniu; scară după precizie/rechemare crește.

18) ÎNTREBĂRI FRECVENTE

Î: De unde să începeți fără ML?
R: Linii de bază sezoniere + gradienți + reguli compozite. Acest lucru oferă o creștere vizibilă a rechemării fără complicații.

Î: Cum să nu se înece în pozitive populare?
R: Combinați semnalele, introduceți histereza și timpul de confirmare, ajustați pragurile per domeniu/regiune, evaluați precizia și alertarea oboselii.

Î: Ce acțiuni să automatizați mai întâi?
R: Sigur și reversibil: pre-scară, permițând cache-uri/degradare, pauză/rollback canari, furnizor de comutare pe semnale confirmate.