Predictie de incarcare si risc

1) De ce aveți nevoie de ea

• Planificarea și bugetarea capacităților
• Setări SLO/SLI, bugete de erori și politici de alertă
• alegerea unei strategii de lansare (canar, albastru-verde, lansare întunecată);
• managementul riscurilor: prevenirea degradării, cozi, tranzacții în scădere, amenzi SLA.

2) Concepte de bază

Încărcați-rata evenimentelor/operațiunilor primite (RPS, TPS, evenimente/sec), precum și consumul de procesoare/RAM/IO/NET.
Performanță realizabilă în mod constant la un anumit SLO și cost.
Risc: probabilitatea × impactul unui eveniment nedorit (eșec SLA, incident, cheltuieli suplimentare).
Indicatori timpurii: valori în creștere înainte de incident (latență p95/p99, adâncime coadă, pauze GC, rata de eroare, saturație).
Headroom-Raportul dintre capacitatea disponibilă și sarcina curentă.

3) Surse de date și valori

Surse: jurnale și valori (Prometheus/OTel), urme, evenimente de afaceri (Kafka), jurnale CDN/WAF/ALB, date marktech (campanii), calendare de evenimente, facturare/oase (FinOps), phicheflags/releases, cozi (K afka/iepure), DB/cache.

• Trafic: RPS/TPS, utilizatori activi (DA/MAU), sesiuni, conversie pas.
• Performanță: latență p50/p95/p99, debit, erori (4xx/5xx), timeout, retries.
• Ресурсы: CPU/LoadAvg, RAM/GC, disc IOps/lat, rețea bw, utilizarea piscinei de conexiune.
• Cozi: restanțe, lag, lag de consum, timp în coadă.
• БД: QPS, așteptări de blocare, interogări lente, decalaj de replicare.
• Кэши: raportul de succes, rata de evacuare, chei fierbinți.
• Nivel de afaceri: depozite/rate pe minut, refuzuri de plată, coadă KYC/AML.
• Fiabilitate: SLI/SLO, rata de ardere a bugetului de eroare (1h/6h/24h).

4) Modele de predicție de bază

1. Determinist și calendar: regresie pe drivere cunoscute (data/ora, meciuri, turnee, bazine de piață, geo, fluffs stoc).
2. Statistică: sezonalitate/tendință (ARIMA/ETS), regresie cu sărbători, abordări asemănătoare Profetului.
3. ML/ansambluri: creșterea gradientului/pădure aleatorie/XGBoost/LightGBM; adăugați caracteristici: vreme, rata de schimb valutar, știri sportive, evenimente concurente.
4. Mixt: statistici pentru sezonalitatea inițială + ML pentru factorii exogeni (campanii, lansări).
5. Cote/cantități: prognoza nu numai medie, ci și p90/p95 pentru planificarea headroom.

Ieșirile modelului: predicția RPS/TPS și distribuțiile de latență/eroare la orizonturile T + 1h/T + 24h/T + 7d/T + 30d cu intervale de încredere.

5) Cozi și limite: Mini Teorie

Little's Law: L = λ × W (numărul mediu în sistem = intensitatea × timpul mediu).
Blocaje: DB/cache/bus/piscină de conexiune/limitele furnizorului API.
Saturație: la sarcină> 70-80% latență crește non-liniar.
Backpressure: protecția consumatorilor împotriva supraîncărcării (limite, cozi, politici de vărsare, degradarea caracteristicilor).

6) Planificarea capacității

Metoda SLO: este necesară latența p99 și rata de eroare acceptabilă → care debitul se menține la nivelul N%.
Metoda „din scenarii”: „Champions League match”, „Black Friday”, „Turneul la scară largă” → cantitățile superioare de trafic + eșecul unui AZ/nod.
Metoda „cost-conștient”: selectați configurații de $/RPS, luând în considerare reduceri, rezervări, spot/abonamente, autoscaling.

Artefacte: Model de capacitate per serviciu, limite și cote (API, DB, cozi), blocaj → tabel de acțiune (sharding, caching, replica, CQRS, async).

7) Managementul riscurilor

Registrul riscurilor: identificare, descriere, probabilitate, impact (financiar/SLA/reglementare), proprietari, planuri de prevenire/răspuns.
Categorii: încărcare (supraîncărcare), infrastructură (AZ/regiune eșuează), dependențe (furnizori de plăți), eliberare (regresie), produs (campanie crescută mai puternică decât așteptările), conformitate (limite/regulator).
Matrice: Heatmap (impact redus/mediu/ridicat de ×).
KRI (Key Risk Indicators): adâncimea cozii, creșterea p99, scăderea raportului de succes, rata de ardere> 2 ×, erorile furnizorului.

8) Avertizare și alertare timpurie

SLI-uri de avertizare timpurie: creșterea p95, hit-urile cache scad, creșterea latenței cozii, reîncercarea/creșterea temporală, creșterea decalajului consumatorilor.
Alerte de tip burn-rate privind erorile bugetare: ferestre rapide (1h) și lente (6-24h).
Alerte pe bază de prag și anomalie: praguri de referință + modele de anomalii (IQR, STL, detectoare de flux).
Agregarea semnalului: corelarea evenimentelor de lansare/phicheflag/campanie cu degradarea.

9) Analiza scenariului și „ce-dacă”

„Dacă creșterea traficului + 60% în 10 minute?”

„Dacă CDN/WAF taie 5% din traficul legitim?”

„Dacă furnizorul de plăți pierde 30% din autorizații?”

Pentru fiecare scenariu: valori preconizate, blocaje, etape de degradare (comutare off caracteristici non-critice), manual/auto-scară, furnizori de comutare.

10) Testarea și verificarea prognozelor

Teste de încărcare: trafic sintetic (k6/JMeter/Locust), profile de amestec reale.
Zilele jocului/Haos: dezactivați AZ, degradați baza de date, evacuați piscina.
Shadow/Dark: traficul „în umbră” a noii căi fără a afecta prod.
Precizie retrospectivă: MAPE/SMAPE/RMSE + post-mortem "unde ați greșit? ”.

11) Procese și roluri

• Responsabil: analiști SRE/Platform/DS.
• Responsabil: șeful Ops/SRE.
• Consultat: Dev Leads, Marketing, Finance (FinOps).
• Informat: Suport/Conformitate/Afaceri.
• Cadence: actualizări săptămânale de prognoză, revizii lunare SLO/Capacitate, săli de pre-eveniment var.

12) Instrumente și stivă

Date: Kafka, ClickHouse/BigQuery, Lake/DWH, dbt.
Monitorizare: Prometheus, Grafana, Tempo/Jaeger, Loki/ELK, OTel.
ML/Prognoze: Airflow/Argo, feature store, modele ARIMA/ETS/GBM, serviciul de prognoză (gRPC/REST).
Тесты: k6/JMeter/Locust, Fault-injection/Chaos Mesh.
Management: Feature Flags, Autoscaling (HPA/KEDA), Policy-as-Code.
FinOps: explorator de costuri, showback/chargeback, tablouri de bord $/RPS.

13) Practica de implementare (foaie de parcurs)

1. Inventarul metricilor și dependențelor → harta traseului critic (depozit, rată, ieșire).
2. SLO/SLI și bugete de eroare → țintă p95/p99, eroare-rate, arde alerte.
3. Colectarea și curățarea datelor → un singur eveniment/strat metric, eliminarea duplicatelor, latență.
4. Previziunile privind sezonalitatea la momentul inițial → modele de zi/săptămână, sărbători/meciuri.
5. Extinderea de către șoferi → campanii de piață, lansări, geo, ferestre de plată.
6. Modele de capacitate prin servicii → headroom, limite, blocaje, plan de optimizare.
7. Scenariul „ce-dacă” și tabelul de degradare (kill-switch-uri, doar citire, grație).
8. Verificarea prin teste/umbre → ajustarea modelelor și pragurilor.
9. Rutină de operare → previziuni săptămânale, recenzii pre-eveniment, retro post-eveniment.
10. Automatizarea → autoscala conform prognozei, comutarea automata a furnizorilor, auto-phicheflags.

14) Antipattern

Predicția „doar mediu” fără cozi p95/p99.
Ignorarea cozilor și a piscinelor - problemele apar la vârf.
Manual de ochi fără validare și precizie metrici.
Nu există nicio legătură → costurile de supradimensionare.
Lipsa planului de degradare și phicheflags.

15) Tablouri de bord și raportare

Placă de bord: previziune RPS/TPS (p50/p90/p95), etaj, card de risc, burn-rate.
Tablou de bord tehnic: p95/p99 latență prin servicii, cozi/lag, hit-ratio, piscină de conectare, bază de date/cache, limite API externe.
Financiar: $/SPR, previziuni de costuri, efect de optimizare.
Precizia prognozei: prognoza efectivă vs, eroare perioadă/geo/canal.

16) Modele artefact

Registru de risc: ID, risc, probabilitate/impact, proprietar, RCI, plan de prevenire, plan de reactie.
Foaie de capacitate: service, debit curent, limită, blocaj, etaj, extindere necesară, ETA/cost.
What-If Cards: scenariu, factori de intrare, valori așteptate, acțiuni, criterii de finalizare.
Playbook Degrade: listă de caracteristici de dezactivat, niveluri QoS, rute cache/statice, limite de reîncercare/timeout.

17) Funcții KPI cheie

Execuția SLO (% din perioadele în țintă), timpul de răspuns la indicatorii timpurii, precizia prognozei (MAPE/SMAPE), numărul de incidente datorate supraîncărcării, cota de scalare automată, economii $/RPS fără degradare SLO.

Total

Previzionarea sistemului de sarcină și riscuri este un pachet: date de calitate → valori semnificative → modele testabile → scenarii și cărți de joc → automatizarea scalării și degradării. Acest contur oferă stabilitate, previzibilitate a costurilor și o experiență stabilă a utilizatorului chiar și la vârfuri extreme.