Alerte în timp real

1) Scop și principii

Scop: notificarea persoanelor/sistemelor potrivite într-un mod precis, precis și specific al evenimentelor care amenință SLO, veniturile și conformitatea și declanșarea acțiunilor corecte (manual/automat).
Principii: SLO-first, minimizarea zgomotului, explicabilitate, context, prioritizare după impactul afacerii, „un semnal - o acțiune ușor de înțeles”.

2) Taxonomia semnalului

Semnale SLO: rata de ardere a bugetului de eroare pentru căi critice (conectare, depozit, rată, ieșire).
IRC: indicatori de risc timpurii (scăderea PSP auth-succes prin banca/OUG, creșterea consumatorului-lag, p99↑).
Eveniment: steaguri de dependență, failover, comutatoare manuale, activare de protecție (rate-limit, WAF).
Securitate/Conformitate: Spike în operațiuni sensibile, exporturi PII, încălcări SoD.

3) Nivelurile de alertă și SLA

4) Sursele și corelația contextuală

Telemetrie: metrici/trasee/busteni, sintetice si ROM.
Directoare: CMDB/hartă de servicii, proprietari, dependențe.
Modificări: versiuni, steaguri, migrații, lucrări planificate.
Furnizori externi: PSP/KYC/studiouri de jocuri/stări CDN/WAF.
Fiecare alertă este îmbogățită: ce s-a schimbat în continuare? (release/feature), ce dependențe sunt roșii?, ce segment va fi afectat? (GEO/PSP/bancă/chiriaș).

5) Regulile de alertă SLO (miez)

Burn-rate: două ferestre (rapid 1h și lent 6-24h). Pager - numai dacă este depășit simultan.
Guardrails: pragurile cu p99/rata de eroare servesc doar ca declanșatori de analiză a contextului, nu înlocuiesc SLO.
Impakt: evaluarea „cota de audiență × bani/mine × regulyatorika” → nivel P1-P4.

6) Reducerea zgomotului

Deduplicare - grupare dupa serviciu/chirias/cauza; împărţim un incident în loc de zeci de semnale.
Histerezis: confirmări N-of-M, durata minimă a anomaliei.
Silences/Meats: Lucrări planificate, incidente cunoscute, ferestre „follow-the-sun”.
Limite de tarif și cote: pe sursă/etichetă/chiriaș; protecţie împotriva „furtunii”.
Reducerea cardinalității: userId/sessionId este interzisă în etichetele de alertă.

7) Rutare și escaladare

Rutare în funcție de context: domeniu (Plăți/Jocuri/Core), mediu (prod/etapă), regiune, severitate.
Escaladare: t0 - L1 de gardă; t0 + X - proprietar L2/domain; t0 + Y - IC/Manual. Timpul X/Y depinde de P1-P3.
Duplicare pe canale: pager + chat la P1; chat/bilet la P3.
Schimbare Shift: transfer automat al contextului (cronologie, acțiuni efectuate, ipoteze).

8) Auto-remediere

Plăți: trecerea PSP prin taxă de × de sănătate × conversie, restricționarea băncilor/metodelor, retrai cu jitter.
Jocuri/pariuri: activați operațiunile de scriere a memoriei cache/limită, pagina de așteptare/camera de așteptare din față.
Infra: evacuarea traficului, repornirea lucrătorilor degradanți, scalarea prin decalaj.
Siguranță/conformitate: închideți temporar exportul PII, introduceți controlul dual pentru operațiunile P1.
Orice auto-acțiune - cu o politică de rollback și criterii de returnare.

9) Runbook-prima experiență

Fiecare alertă este asociată cu un runbook: scop, diagnosticare rapidă (3-5 verificări), repara/rollback pași, persoane de contact, link-uri către tablouri de bord și pagina de stare. În chat/pager afișăm o scurtă carte de acțiune.

10) El-numesc politică

Rotația 24 × 7, acoperirea domeniului (Plăți/Game Core/SRE).
„Al doilea de gardă” pentru P1, o regulă de două persoane într-o cameră var.
Ore liniștite și urmați-ferestrele soarelui.
Antrenament: exerciții trimestriale (masă/joc-zi), schimburi de umbre.
Credite post-incident (exp-time) pentru a evita burnout.

11) Integrări

Managementul incidentelor: auto-crearea de carduri, benzi de actualizare, roluri IC/CL, cronometre.
Status page: publicarea P1/P2 (prin Comms Lead) cu șabloane și localizare.
Releases: release-gates by SLI, auto-stop/rollback by alert.
Directoare: proprietari, CMDB, contacte furnizor.

12) Exemple de alertă (iGaming)

1. Auth-succes în PSP-1 TR↓ cu 25% în 10 min

P2→P1 atunci când> 30% din tranzacții sunt acoperite.
Auto-acțiune: redistribuie PSP-2/3 de trafic; Activați alerta simplificată 3DS Partner Manager.

2. p99 "stavka→settl"> 3 × norme în UE

Motive: replicare lag, coadă de lucrători.
Auto-acțiune: scalarea lucrătorilor, cache-ul de încălzire, dezactivați temporar caracteristicile non-critice.

3. Export piroane PII

P1 în absența unui bilet/aprobare.
Auto-acțiune: bloc de descărcare, notificare de conformitate, verificare SoD.

13) Alertarea metricilor de calitate (KPI/KRI)

MTTA-Comms/MTTA-Ops: timpul până la reacție/prima acțiune.
Precizie/Rechemare (alertă ↔ incident), Rata de alarmă falsă.
Timp de plumb înainte de încălcarea SLO, TTD (timp de detectare).
Oboseală pager: alerte/persoană/săptămână, apeluri de noapte, procent de „manechine”.
Rata de auto-remediere: proporția de probleme închise de auto-reacție fără o persoană.
Îmbătrânire: proporția de P3/P4> X zile agățat.

14) Managementul costurilor

Cote pentru alerte/surse, tăierea etichetelor redundante.
Sub-eșantionare și agregare metrică, eșantionare de cale; după clasă.
Revizuirea regulată a costurilor: $/alert, $/SLI-tablou de bord, seria „heavy”.

15) Confidențialitate și conformitate

Fără PII în textul alertelor și etichetelor; tokenizarea identificatorilor.
Politici de acces (RBAC/ABAC), SoD privind configurația de alertă.
Modificări ale regulilor de audit, versioning, teste și diff.

16) Foaie de parcurs de implementare (6-10 săptămâni)

Ned. 1-2: directorul SLI/KRI, harta proprietarului, nivelurile de P1-P4, primele reguli SLO (burn-rate).
Ned. 3-4: dedup/hysteresis/silences, integrarea cu sistemul incident și chat-uri, pachete runbook.
Ned. 5-6: auto-acțiuni pentru plăți/cozi, release-gates, status-page feed.
Ned. 7-8: context (releases/feature flags/providers), carduri de căldură PSP × bank × GEO, exerciții P1/P2.
Ned. 9-10: alertă FinOps, tablouri de bord KPI, revizuirea pragurilor și cotelor, instruire de gardă.

17) Artefacte și modele

Specificații de alertă: metric/stare, ferestre, suprimare, proprietar, runbook, auto-acțiuni.
Hartă rutare: domen→kanal→eskalatsii, contacte de rezervă.
Politica de tăcere: reguli mute (incidente planificate/cunoscute), care pot include.
Manual de gardă: rotații, schimbări de schimbare, liste de verificare P1/P2, canale.
Pachetul post-incident: încărcări/termene de alertă, analiza calității semnalului.

18) Antipattern

Pager pentru „raw” p95/p99 fără SLO → zgomot și oboseală.
Zeci de semnale despre același lucru (fără deduplicare/corelare).
Alerta nu are un runbook sau proprietar.
Prag „în piatră” fără sezonalitate/segmentare (OUG/PSP/bancă/oră).
Fără întoarcere după auto-acțiuni (fără criterii de roll-back).
Etichete cu PII și userId → riscuri și o explozie de cardinalitate.

Rezultat

O alertă cu adevărat utilă este o conductă centrată pe SLO: reguli de context cu burn-rate, reducere inteligentă a zgomotului, rutare clară și escaladare, experiență runbook-first și acțiuni auto sigure. Un astfel de circuit prinde evenimente critice mai devreme decât utilizatorii, reduce MTTR, protejează veniturile și, în același timp, protejează apelul de rutina „pager-hellish”.