Çeşmeleri bölmek
1) Wezipe we ýörelgeler
Serişdeleri paýlamak, maksatly SLO we FinOps çäklendirmelerine bolan islegi (ýük, taslamalar, hadysalar) (CPU/RAM/IO/tor, ygtyýarnamalar, adamlar, býudjetler) bilen deňeşdirmegiň ulgamlaýyn usulydyr.
Esasy ýörelgeler:- SLO-first: çeşmäniň hil maksady bar; saýlamak - ony saklamak üçin gural.
- Fairness + Priority: hemmeler üçin adalatly paý, ýöne ileri tutulýan - kepillikler.
- Izolation: blast-radius "aç" ýükleri çäklendirýäris.
- Elasticity: hakyky isleg üçin awtomatiki giňeltmek/gysmak.
- Cost-aware: Her goşmaça çeşme SLO/girdejä düşnükli täsir etmeli.
- Evidence-based: çözgütler telemetriýa we synaglar bilen tassyklanýar.
2) Çeşmeleriň taksonomiýasy
Hasaplamalar: CPU/Memory/GPU, konteýner howuzlary, serwersiz kwotalar.
Ammar: IOPS/geçiş, gyzgyn/ýyly/sowuk gatlaklar, nagt pul.
Tor: egress/ingress, CDN, hususy kanallar, IP-howuzlar.
Maglumatlar: DWH/akym, arka fil penjirelerindäki slotlar/penjire çeşmeleri.
Adamlar: on-call slotlary, IC/Release, SRE/Dev wagty (sagat/sprint).
Wendorlar: üpjün edijileriň çäkleri (PSP/KYC/CDN), rate-limits we konnektler.
3) Ileri tutulýan model (portfel)
Tier-0: möhüm flow (giriş, töleg). Kepillendirilen çeşmeler, aýry-aýry howuzlar.
Tier-1: iş taýdan möhüm (kor-önüm, D-1 hasabatlary). Artykmaç kwotalar.
Tier-2/3: kömekçi/gözleg. Burstable, býudjet çäkleri.
Taslamalar: Impact × Urgency × Confidence × Cost → derejesi; SAV/portfelde ylalaşmak.
4) Paýlamak syýasaty (kepillikler, kwotalar, çäkler)
Guaranteed (dedicated): fix-paýy/ätiýaçlyk; Tier-0/1 üçin.
Burstable: esasy kwota + çäklendirmä çenli mugt karz almak hukugy.
Best-effort: kepilliksiz, çalşylyp bilner.
Quota/Limit-as-Code: ähli kwotalar we çäkler deklaratiw beýan edilýär (syýasatçynyň ammary).
Preemption/Pod Disruption Budget: Kimi we haýsy tizlikde çalşyp bolýar.
Tor kwotalary: egress/tenant, üpjün edijilere birikdirmegiň çäkleri.
5) Köp tenantlyk we izolýasiýa
Namespace/Account per tenant: aýry-aýry çäkler, býudjet, audit.
Şowhunly goňşular: cgroups/requests/limits/IO-throttling; "agyr" meseleler üçin aýratyn nodlar.
P95-izolýasiýa: SLO ortaça däl-de, percentile görä hasaplanýar; burst p95 goňşusyny döwmeli däldir.
Data tenancy: VIP/sebitler üçin aýratyn howuzlar we saklaýyş gatlaklary.
6) Awto-masştab we elastiklik
HPA/VPA/Cluster-autoscaler: diňe bir CPU däl, SLI/SLI-proxy (latency p95, queue depth) boýunça masştab.
Scheduled scaling: iň ýokary penjireler/wakalar üçin öňünden.
Warm pools: çalt skeylap üçin gyzdyrylan düwünler/baglanyşyklar.
Tor/CDN: RUM/Anycast/POP ýükleri boýunça awtomatiki deňagramlylyk.
7) Nobatlar, hyzmat synplary we SLA
Synplar: 'gold/silver/bronze' maksatly garaşma wagty we ýalňyşlyk býudjeti bilen.
Nobatlar/tekerler: ileri tutulýan, Tier-0 üçin aýry-aýry partiýalar, DLQ.
Backpressure: ýadro goragy üçin drop/shape/slow dersleri.
Uýgunlaşdyrylan wagt/retralar: hyzmat synpyna we häzirki ýagdaýyna.
8) Adam serişdeleri
Çalşyklar we örtükler: traffige laýyklyk (follow-the-sun), iň ýokary derejedäki P1 + P2 goşa.
SRE/Dev ünsi: KPI bilen reaktiw/proaktiw (mysal üçin 50/50) üçin wagt göterimi.
Resurslary soramak: sagatlar/sprint üçin RFC şablonlary, aç-açan ileri tutulýan nobat.
9) Maliýe modeli (FinOps)
Birlik ykdysadyýeti: $/1k soraglar, $/üstünlikli töleg, $/GiB log.
Býudjetler we alertler: hasaplar/tenantlar boýunça kwotalar, artykmaç çykdajylar barada duýduryşlar.
Optimizasiýa: gyzgyn/ýyly/sowuk saklamak, log-sempling, critical däl üçin spot howuzlar.
Showback/Chargeback: toparlar/tenantlar boýunça çykdajy hasabatlary netijeliligi höweslendirýär.
10) Üpjün edijileri dolandyrmak
Çäklendirmeler we penjireler: şertnama TPS we PSP/KYC/CDN-de nobatlar; senenamadaky meýilleşdirilen penjireler.
"Failover" profilleri: agramlar we birnäçe üpjün edijiniň arasynda marşrut.
Impuls-metrikler: jogap wagty, şowsuzlyga çydamlylyk, çykdajy/üstünlikli amal.
11) Paýlanyşyň kämillik ölçegleri
Synplar boýunça SLO Adherence:% gold/silver/bronze.
Resource Efficiency: CPU/RAM/IO (median/p95) gaýtadan işlemek, idle paýy.
Cost per SLO-point: SLO maksadyny saklamak üçin çykdajylary üýtgetmek.
Throttling/Preemption rate: Näderejede ýygy-ýygydan we kimiň ornuny tutýarys.
Hotspot MTTA: howuzlaryň/tenantlaryň aşa gyzmagyna jogap bermek wagty.
Fairness Index: tenantlaryň arasynda gijikdirmeleriň/kwotalaryň ýaýramagy (gini/üýtgeşiklik).
12) Çek-listler
Paýlanyşyny üýtgetmezden öň
- SLO maksatlary we hyzmat synpy kesgitlenildi.
- Ýüküň telemetri bar (p95/p99, ösüş, möwsümlilik).
- Kwotalar/çäkler Git-de beýan edilýär we aglamakdan geçdi.
- Goňşularda täsirleri barlandy (izolýasiýa synaglary).
- Yzyna gaýtarmak meýilnamasy we garawullar taýýar.
Hepdelik iş otagy
- Howuzlary ýok etmek we hotspot-hasabat.
- FinOps hasabaty: $/bir. artykmaç çykdajylar, anomaliýalar.
- Üpjün ediji çäkleri we SLA ýerine ýetirildi.
- Nobatlar: synplarda gijä galmak, açlyk ýok.
- Işde ýüze çykarylan päsgelçilikler üçin CAPA.
13) Şablonlar (pikirler)
13. 1 Kwota syýasaty (YAML)
yaml tenant: vip-eu class: gold compute:
cpu:
request: "8000m"
limit: "12000m"
memory:
request: "16Gi"
limit: "24Gi"
storage:
tier: hot iops_min: 8000 network:
egress_mbps_cap: 500 slo:
latency_p95_ms: 250 preemption:
protected: true burst:
allowed: true max_factor: 1.513. 2 Awto-ölçeg profili (bölek)
yaml autoscaling:
metric: "queue_depth" # или biz_sli.payment_latency_p95 target: 200 min_replicas: 6 max_replicas: 60 warm_pool: 4 cooldown_sec: 12013. 3 Hyzmat synpy we nobatlar
yaml class: gold sla:
wait_p95_ms: 150 queue:
partition: "gold-eu"
retry_policy:
attempts: 2 backoff_ms: 200 backpressure: "shape" # иначе drop/slow13. 4 Çeşme üçin ýüztutma (adamlar)
RFC: RES-OPS-2025-11
Цель: усилить on-call P2 на пике ноябрьских промо (EU)
Период: 2025-11-25..2025-12-05
Обоснование: прогноз трафика +30%, прошлогодний p95 MTTA ↑
Запрос: +1 P2 слот/сутки, +IC в prime-time14) Amallar we awtomatlaşdyryş
Planner-bot: Syýasatçynyň ammaryna SLO, PR traffiginiň we maksatlarynyň taryhyndan kwotalary hasaplamak.
Guardrails-bot: kwota ýetmezçiligi/oversubscription.
Komms-bot: toparlara synpyň artykmaç sarp edilendigi/çalşylandygy/çalşylandygy barada habar bermek.
Düşündirişler: relizler/hyzmat penjireleri iş wagty üçin agramlary/kwotalary üýtgedýär (suppressiondan soň aýyrmak).
15) Anti-patternler
SLO we telemetriýa bolmazdan "duýgulara görä" bölmek.
"Şowhunly goňşulary" izolýasiýa etmezden hemmeler üçin bir uly howuz.
Gözegçiliksiz burst ýokary çäksiz → goňşulary "bogýarys".
Backpressure/nobatlaryň ýoklugy → gar topy wagt.
Sahypalaryň bahasyna üns bermezlik/egress - "asuda" býudjet syzmagy.
Möwsümliligi/iň ýokary derejesi bolmadyk kesgitlenen kwotalar → elýeterlilik ýa-da artykmaç çykdajy.
16) Durmuşa geçirmegiň ýol kartasy (4-8 hepde)
1. Ned. 1-2: çeşmeleriň we hyzmatlaryň inventarizasiýasy; synplaryň maksady (gold/silver/bronze); başlangyç kwotalar; esasy SLO.
2. Ned. 3-4: SLI-proxy boýunça awto-masştaby açyň; nobatlary we backpressure sazlamak; Tier-0 howuzlary izolirlemek.
3. Ned. 5-6: FinOps hasabat ($/bir. kwotalar, býudjet alertleri); warm-pools we iň ýokary günlerde boýalan skeyller.
4. Ned. 7-8: awtomatlaşdyryş Planner/Guardrails, tenant otagy (kwota/baha), çärýekleýin gözden geçiriş fairness & hotspots.
17) Jemleýji
Resurslary paýlamak bir gezeklik sazlama däl-de, SLO, telemetriýa we FinOps-a gurlan janly prosesdir. Haçan-da ileri tutulýan ugurlar resmileşdirilse, kwotalar we çäkler - kod, izolýasiýa we elastiklik ýaly - adaty, çözgütler bolsa metrikler we çykdajylar bilen tassyklansa, ulgam yzygiderli iň ýokary derejeleri başdan geçirýär, möhüm howany goraýar we býudjeti "ýakmaýar".