Ýüküň we töwekgelçiligiň çaklamasy

1) Bu näme üçin zerur?

• kuwwatlylygy meýilleşdirmek (capacity planning) we býudjetleşdirmek;
• SLO/SLI sazlamalary, ýalňyşlyk býudjetleri we alerting syýasaty;
• goýberiş strategiýasyny saýlamak (canary, blue-green, dark launch);
• töwekgelçilikleri dolandyrmak: pese gaçmagyň, nobatlaryň, geleşikleriň, SLA-jerimeleriň öňüni almak.

2) Esasy düşünjeler

Ýük: Gelýän hadysalaryň/amallaryň intensiwligi (RPS, TPS, events/sek), şeýle hem CPU/RAM/IO/NET sarp edilişi.
Kuwwat (Capacity): berlen SLO we bahasy bilen yzygiderli gazanyp boljak öndürijilik.
Töwekgelçilik: islenilmeýän hadysanyň ähtimallygy × täsiri (SLA-şowsuzlyk, waka, aşa köp sarp etmek).
Irki görkezijiler: hadysadan öň ösýän metrikler (latency p95/p99, queue depth, GC pauses, error rate, saturation).
Howpsuzlyk ätiýaçlygy (Headroom): bar bolan kuwwatyň häzirki ýüke bolan gatnaşygy.

3) Maglumatlaryň çeşmeleri we metrikleri

Çeşmeler: loglar we metrikler (Prometheus/OTel), yzarlamalar, işewürlik çäreleri (Kafka), CDN/WAF/ALB logleri, markteh maglumatlary (kampaniýalar), wakalar senenamalary, billing/süňkler (FinOps), ficheflagi/relizler, nobatlar (Kafka )/Rabbit), DB/nagt pul.

• Traffik: RPS/TPS, işjeň ulanyjylar (DAU/MAU), sessiýalar, ädimleriň öwrülişigi.
• Öndürijiligi: latency p50/p95/p99, throughput, ýalňyşlyklar (4xx/5xx), timeouts, retries.
• Ресурсы: CPU/LoadAvg, RAM/GC, disk IOps/lat, network bw, connection pool usage.
• Nobatlar: backlog, lag, consumer lag, time-in-queue.
• БД: QPS, lock waits, slow queries, replication lag.
• Кэши: hit ratio, eviction rate, hot keys.
• Iş derejesi: minutda goýumlar/stawkalar, töleg şowsuzlyklary, KYC/AML nobat.
• Ygtybarlylygy: SLI/SLO, error budget burn rate (1h/6h/24h).

4) Çaklamanyň esasy modelleri

1. Kesgitlenen we senenama: belli hereketlendirijiler boýunça regressiýa (senesi/wagty, oýunlar, ýaryşlar, bazar-howuzlar, geolar, paýdarlar toplary).
2. Statistiki: möwsümlilik/tendensiýa (ARIMA/ETS), dynç alyş bilen regressiýa, Prophet şuňa meňzeş çemeleşmeler.
3. ML/ensemble: gradient güýçlendiriji/Random Forest/XGBoost/LightGBM; fiçleri goşýarys: howa, walýuta hümmeti, sport habarlary, bäsleşýän wakalar.
4. Garyşyk: esasy möwsümlilik üçin statistika + ekzogen faktorlar üçin ML (kampaniýalar, goýberişler).
5. Kwotalar/kwantiller: headroom meýilleşdirmek üçin diňe bir orta däl, eýsem p90/p95 çaklamasy.

Modeliň çykmagy: RPS/TPS çaklamasy we gizlinlik/ýalňyşlyklaryň T + 1h/T + 24h/T + 7d/T + 30d gorizontlarda ygtybarly aralyklar bilen paýlanmagy.

5) Nobatlar we çäkler: kiçi teoriýa

L = λ × W (ulgamdaky ortaça mukdar = intensiwlik × ortaça wagt).
Dar ýerler: DB/keş/şina/birikmeler howzy/üpjün edijileriň API çäkleri.
Saturation: ýüklenende> 70-80% gizlinlik çyzykly däl ýokarlanýar.
Backpressure: sarp edijileri artykmaç ýüklerden goramak (çäkler, nobatlar, shed-syýasatlar, bozulma).

6) Kuwwaty meýilleşdirmek (Capacity Planning)

"SLO-dan" usuly: talap edilýän p99-gizlinlik we kabul ederlikli error rate → headroom N% -de haýsy throughput saklanýar.
"Ssenarilerden" usuly: "Çempionlar ligasynyň oýny", "Gara anna", "Uly göwrümli ýaryş" → traffigiň ýokarky kwantilleri + bir AZ/düwün şowsuzlygy.
"Cost-aware" usuly: arzanladyşlary, ätiýaçlyklary, spot/abunalyklary, autoscaling göz öňünde tutup, $/RPS konfigurasiýalaryny saýlaýarys.

Artefaktlar: Capacity Model per hyzmaty, çäkler we kwotalar (API, DB, nobatlar), "dar ýer → hereket" tablisasy (şardlamak, kesmek, göçürmek, CQRS, async).

7) Töwekgelçilikleri dolandyrmak

Töwekgelçilikleriň sanawy: kesgitleýji, düşündiriş, ähtimallyk, täsir (maliýe/SLA/düzgünleşdiriji), eýeler, öňüni alyş/reaksiýa meýilnamalary.
Kategoriýalar: ýükleýiş (artykmaç ýük), infrastruktura (AZ/region fail), garaşlylyk (töleg üpjün edijileri), goýberiş (regress), önüm (kampaniýa garaşylýandan has güýçli ýokarlandy), utgaşma (çäklendirmeler/düzgünleşdiriji).
Matrisa: Heatmap (Low/Medium/High × Impact).
KRI (Key Risk Indicators): nobatlaryň çuňlugy, p99 beýikligi, hit-ratio, burn rate> 2 ×, üpjün edijileriň ýalňyşlyklary.

8) Irki duýduryş we alerting

Early-warning SLIs: p95 ösüşi, keş-hitleriň azalmagy, tail latency ösüşi, retry/timeout ösüşi, consumer lag köpelmegi.
Burn-rate ýalňyşlyklaryň býudjeti boýunça aladalar: çalt (1h) we haýal (6-24h) penjireler.
Bosagaly we anomaliýa esasly alertler: esasy bosagalar + anomaliýa modelleri (IQR, STL, akym detektorlary).
Signallaryň agregasiýasy: zyňyndylaryň/fiçeflaglaryň/zaýalanmalar bilen kampaniýalaryň wakalarynyň korelýasiýasy.

9) Ssenariý seljermesi we "what-if"

"Traffigiň ösüşi 10 minutda + 60% bolsa?"

"Eger CDN/WAF kanuny traffigiň 5% -ini kesse?"

"Eger töleg üpjün edijisi ygtyýarlylygyň 30% -ini ýitirse?"

Her bir ssenariýa üçin: garaşylýan metrikler, päsgelçilikler, zaýalanma ädimleri (toggle off-kritiki däl surat), el/awto-skeýl, üpjün edijileriň geçişi.

10) Çaklamalary barlamak we barlamak

Ýükleýiş synaglary: sintetiki traffik (k6/JMeter/Locust), "hakyky garyndy" profilleri.
Game Days/Chaos: AZ-yň öçürilmegi, BD-iň zaýalanmagy, howuzyň tükenmegi.
Shadow/Dark: täze ýoluň "kölegesine" traffigi.
Takyk retrospektiv: MAPE/SMAPE/RMSE + post-mortem "nirede ýalňyşlyk goýberdiňiz? ”.

11) Prosesler we rollar

• Responsible: SRE/Platform/DS-analitikler.
• Accountable: Head of Ops/SRE.
• Consulted: Dev Leads, Marketing, Finance (FinOps).
• Informed: Support/Compliance/Business.
• Kadens: hepdelik çaklamalaryň täzelenmesi, SLO/Capacity-iň her aýda gözden geçirilmegi, deslapky war-rumlar.

12) Gurallar we stek

Maglumatlar: Kafka, ClickHouse/BigQuery, Lake/DWH, dbt.
Gözegçilik: Prometheus, Grafana, Tempo/Jaeger, Loki/ELK, OTel.
ML/Çaklamalar: Airflow/Argo, feature store, ARIMA/ETS/GBM modelleri, çaklamalar hyzmaty (gRPC/REST).
Тесты: k6/JMeter/Locust, Fault-injection/Chaos Mesh.
Dolandyryş: Feature Flags, Autoscaling (HPA/KEDA), Policy-as-Code.
FinOps: cost explorer, showback/chargeback, $/RPS daşbordlary.

13) Durmuşa geçirmegiň amaly usuly (roadmap)

1. Ölçegleriň we garaşlylyklaryň sanawy → kritiki ýollaryň kartasy (goýum, stawka, netije).
2. SLO/SLI we ýalňyşlyk býudjetleri → p95/p99 maksatly, error-rates, burn-alertler.
3. Maglumatlary ýygnamak we arassalamak → wakalaryň/metrikleriň bir gatlagy, duplikasiýa, gijä galmak.
4. Möwsümliligiň esasy çaklamasy → gündiz/hepdelik nagyşlar, baýramçylyklar/oýunlar.
5. Sürüjiler bilen giňeltmek → bazar kampaniýalary, goýberişler, geo, töleg penjireleri.
6. Hyzmatlar boýunça capacity-modeller → headroom, çäkler, dar ýerler, optimizasiýa meýilnamasy.
7. "What-if" ssenarisi we zaýalanma tablisasy (kill-switches, read-only, grace).
8. Synaglar/kölegeler arkaly barlamak → modelleri we çäkleri düzetmek.
9. Operasiýa tertibi → hepdelik çaklamalar, öňünden rebu, soňky retro.
10. Awtomatlaşdyryş → Awtoskeyl çaklama boýunça, üpjün edijileriň awto-öçürilmegi, awto-fiçeflaglar.

14) Antipatternler

Guýruksyz "diňe orta" çaklamasy p95/p99.
Nobatlar we howuzlar - problemalar iň ýokary derejä çykýar.
"El bilen göz bilen" tassyklamasyz we takyklyk metriksiz.
Çykdajylar bilen baglanyşyk ýok → artykmaç masştab.
Pese gaçmak we fizeflaglar meýilnamasynyň ýoklugy.

15) Daşbordlar we hasabatlylyk

Exec-daşbord: RPS/TPS (p50/p90/p95), headroom, töwekgelçilik-ýylylyk kartasy, burn-rate çaklamasy.
Tech-dashboard: p95/p99 latency services, nobatlar/lag, hit-ratio, birikmeler howzy, DB/nagt, daşarky API çäkleri.
Maliýe: $/RPS, çykdajy çaklamasy, optimizasiýa täsiri.
Çaklamalaryň takyklygy: hakyky vs çaklama, döwürler/geo/kanallar boýunça ýalňyşlyk.

16) Artefaktlaryň şablonlary

Töwekgelçilik Register: ID, töwekgelçilik, ähtimallyk/täsir, eýesi, KRI, öňüni alyş meýilnamasy, reaksiýa meýilnamasy.
Capacity Sheet: hyzmat, häzirki throughput, çäk, dar ýer, headroom, zerur giňeltmek, ETA/bahasy.
What-If Cards: ssenariýa, giriş faktorlary, garaşylýan metrikler, hereketler, tamamlamak kriteriýasy.
Playbook Degrade: öçürmek üçin surat sanawy, QoS derejeleri, keş/statik ugurlary, retry/timeout çäkleri.

17) Esasy KPI funksiýalary

SLO-ny ýerine ýetirmek (maksatdaky döwürleriň%), irki görkezijilere jogap wagty, çaklamalaryň takyklygy (MAPE/SMAPE), aşa köp ýük sebäpli ýüze çykan hadysalaryň sany, awtomatiki masştablaryň paýy, SLO-ny peseltmezden $/RPS tygşytlamak.

Jemi

Ýüküň we töwekgelçiligiň ulgamlaýyn çaklamasy bir topar: hil maglumatlary → manyly metrikler → barlanylýan modeller → ssenariler we playbooks → masştabyň we zaýalanmagyň awtomatlaşdyrylmagy. Şeýle konturlar, hatda aşa ýokary derejelerde hem durnuklylygy, çykdajylaryň öňünden aýdyp boljakdygyny we durnukly ulanyjy tejribesini üpjün edýär.