Ygtybarlylyk inženerligi

1) SRE näme we näme üçin zerur?

Ygtybarlylyk in Engineeringenerçiligi (Site Reliability Engineering, SRE) - işläp düzmegiň we işlemegiň çatrygynda düzgün-nyzam, bu bolsa ygtybarlylygy ölçenen önüm atributyna öwürýär. SRE ulanyjynyň tejribesiniň metriklerini (SLI), hil maksatlaryny (SLO), ýalňyşlyk býudjetlerini, awtomatlaşdyrmagy we durnuklylygy ýitirmezden gymmaty has çalt üpjün etmek üçin dolandyrylýan üýtgeşmeleri birleşdirýär.

Esasy maksatlar: öňünden aýdyp boljak UX, çalt çykarylmalar, iň az iş wagty we gözegçilik edilýän eýeçilik bahasy.

2) SRE ýörelgeleri

Çeňňek ýaly ygtybarlylyk. SLO we işewürlik maksatlary bilen kesgitlenen çäklere çenli ileri tutulýar.
Ýalňyşlyklaryň býudjeti üýtgeşmeleriň tizligini dolandyrýar. Eger býudjet ýakylsa, onda durnuklylyga üns berilýär.
Awtomatlaşdyryş> el amallary. Islendik gaýtalanýan wezipe - skript/operator/paypline.
Ölçemek. Diňe ölçenen zady (SLI/SLO) gowulaşdyryp bolýar.
Just Culture. Post-mortemalar aýyplamasyz, ulgamlaýyn sebäplere ünsi jemleýär.
Shift-left. Hil, howpsuzlyk, synaglar we gözegçilik ösüş sikliniň bir bölegidir.

3) Guramaçylyk we rollar

Platforma SRE buýrugy: umumy gurallar, syýasatlar, paýlaýjylar, GitOps, hyzmat kataloglary.
Içerki SRE (embedded): SLO boýunça bilelikdäki maksatlar üçin azyk toparynyň ýanynda işleýär.
Nobatçylyklar (on-call): aýlanmalar, ýüküň çäkleri, öwezini dolmak, türgenleşikler.
RACI: hyzmatyň eýesi, SLO, IC, Comms Lead, Scribe.

4) SLI/SLO we ýalňyşlyklaryň býudjeti (önüm bilen baglanyşyk)

SLI: elýeterlilik, gizlinlik, işewürlik amallarynyň üstünligi, maglumatlaryň ähmiýeti.
SLO: penjirelerdäki nyşanlar 28-30 gün + kadadan çykmalar.
Error Budget = 1 − SLO. Syýasatlar: relizler, synaglar, kanareýkalar we çitler hakyky burn-rate bilen düzgünleşdirilýär.
Kogortlar boýunça dizaýn: sebitler, üpjün edijiler, VIP-segmentler - anomaliýalary ýitirmezlik üçin aýratyn SLO.

5) Adaty synlamak

Metrikler: üstünlik/ýalňyşlyk, p50/p95/p99, saturation (CPU/mem/IO/conn).
Loglar: gurluşly, haýyşlaryň/relizleriň/baýdaklaryň baglanyşygy bilen.
Söwda: gijikdirmeler we ýalňyşlyklar kartasy, hot-paths.
Sintetika + RUM: daşarky nusgalar we hakyky müşderi telemetriýasy.
SLO Daşbordlary: burn-down býudjeti, goýberiş düşündirişleri, kanareýka, üpjün edijiler.

6) Üýtgetmeleri dolandyrmak we çykarmak

Paypline CI/CD: kesgitlenen ýygnaklar, artefaktlaryň goly, howpsuzlyk skanerleri, şertnama synaglary.
Progressiw strategiýalar: canary/blue-green/shadow; durmuş aýlawly baýdaklar.
Gate's quality: policy-as-code, SLO-guardrails, degradasiýa wagtynda awto-yza gaýdyp gelmek.
GitOps: kod hökmünde konfigurasiýalar/syýasatlar, çarşenbe güni mahabat, audit.

7) Wakalar we post-mortemler

SEV/P-derejeleri boýunça deklarasiýa, IC derrew bellenilýär, SEV-1 + -de goýberilýär-freeze.
Burn-rate alertleri: gysga we uzyn penjireler, sebitler we nusgalaryň görnüşleri boýunça kworum.
Pleýbuklar: yzyna gaýtarmalar, pese gaçmalar, üpjün edijileriň feýloweri, çäklendirmeler/retralar.
RCA we CAPA: faktologiýa, sebäpler, ölçelýän hereketler, gözegçilik nokatlary (D + 14/D + 30).
Bilim katalogy: şablonlary we sapaklary gaýtadan ulanýarys.

8) Ygtybarlylygy barlamak

Mikroservisler üçin şertnama synaglary we consumer-driven contracts.
Hakyky nagyşlar boýunça ýük profilleri, p99/GC arakesmeleri/nobatlaryň guýruklary.
Chaos/Resilience-ýagdaýlary: endikleri öçürmek, torlar, gijikdirmeler; game-days we DR-maşklar.
Göçmek DB: expand → migrate → contract, tersine, iki wersiýanyň laýyklyk synaglary.

9) Kuwwaty we gymmaty dolandyrmak (FinOps)

Möhüm ýollarda Capacity Units we headroom.
HPA/VPA/KEDA ulanyjy metrikleri we nobat laglary boýunça.
Köp üpjün edijiler: kwotalar, SLO/gizlinlik boýunça marşrut, awto-feýler.
Unit-economics: $/1k soraglar, $/üstünlikli amal; nagt pullary, ýazgylary, egress optimizirlemek.

10) Howpsuzlyk ygtybarlylygyň bir bölegi hökmünde

SAST/DAST/SCA, syrlary gözlemek, SBOM, şekilleriň goly.
mTLS we giriş syýasaty (OPA/ABAC); iň az artykmaçlyklar.
Açarlaryň/şahadatnamalaryň aýlanmagy, möhletlere gözegçilik, gutarmagyň synag ssenarileri.
Howpsuzlyk hadysalary - aýratyn pleýbuklar, forensika, düzgünleşdirijileriň habarnamalary.

11) Medeniýet we prosesler

SLO-synlar: hepdede/aýda, bergileriň "gyrmyzy şekillerden" ileri tutulmagy.
Okuw we simulýasiýa: on-call türgenleşikleri, waka repetisiýalary, chaos-days.
Bitewi standartlar: önüme taýynlyk çek-listleri, SLA aragatnaşyklary, post-mortem formaty.
Alertleriň ýadawlyk görkezijileri: maksat bosagasynyň ≤ sesi, yzygiderli sazlama.

12) SRE funksiýasynyň kämillik ölçegleri

DORA-metrikler: deploýlaryň ýygylygy, lead time, MTTR, change-failure-rate.
SLO-ýerine ýetiriş: ýaşyl zolakda hyzmatlaryň paýy, burn-rate tendensiýasy.
Alert-arassaçylyk: kartoçkalar boýunça hereketleriň% -i, alertleriň/çalşygyň mediany, ýalan zatlaryň paýy.
RCA/CAPA: öz wagtynda ýerine ýetirilmegi, ulgamlaýyn (şahsy däl) sebäpleriň paýy, reopen-rate.
Bahasy: $/SLO nokady, $/1k soraglary, awtoskeýliň netijeliligi.

13) "Hyzmatyň önüme taýýarlygy" çek-sanawy

• SLI/SLO, SLO eýesi we gözegçilik penjiresi kesgitlenildi.
• Daşbordlar we burn-rate aladalary sazlanýar, daşarky sintetika bar.
• Pipline: gollar/skanlar, şertnama/integrasiýa synaglary, kanareýa/baýdaklar, awto-rollbek.
• DB migrasiýalary tersine bolýar, ýük profilleri iň ýokary derejeleri ýapýar.
• Wakalaryň oýun kitaplary we üpjün edijileriň aragatnaşyklary; status-sahypa.
• Capacity headroom tassyklandy; HPA/KEDA we üpjün edijileriň kwotalary barlandy.
• Konfigi we syýasatçylar - Git-de, çarşenbe güni mahabat, audit bar.
• Howpsuzlyk: koddan daşary syrlar, mTLS/rotasiýa, TLS şertleri gözegçilik astynda.

14) Anti-patternler

«99. 999% ýa-da hiç zat" - ýetip bolmajak maksatlar → baky gyzyl burn-rate.
Kanareýalarsyz we fiç baýdaklarsyz çykarylmalar → uly partlamalar.
Bir gözegçilik nokady → ýalan duýduryşlar we sypdyrmalar.
Önümdäki konfigurasiýalaryň el bilen çalşylmagy → süýşmek we diňlenilmezlik.
CAPA bolmasa post-mortemler → gaýtalanýan hadysalar.
Arhitekturany üýtgetmäge hukugy bolmadyk "ýangyn söndürijiler" hökmünde SRE → karz ýapylmaýar.

15) SRE-ni ornaşdyrmagyň ýol kartasy (3-6 aý üçin mysal)

1. 1-nji aý: hyzmatlaryň we möhüm ýollaryň sanawy; SLI/SLO taslamalar; esasy daşbordlar we burn-rate alertleri; on-call.
2. 2-nji aý: kanareýkalar/fiç-baýdaklar, awto-yza gaýdyşlar; GitOps konfigurasiýalary; wakalaryň pleýbuklarynyň katalogy; status-sahypa.
3. 3-nji aý: şertnama synaglary, ýük profilleri, expand/contract shemasy boýunça DB göçmeleri; ilkinji game-days.
4. 4-6 aýy: köp üpjün ediji ugurlar, DR-maşklar, çykdajylary optimizirlemek, kämillik metrikleri, toparlar üçin KPI.

16) Jemleýji

SRE - bu işläp düzmegiň operasiýa ulgamy: aç-açan hil maksatlary (SLO), dolandyrylýan üýtgeşmeleriň tizligi (ýalňyşlyklaryň býudjeti), hadysalaryň awtomatlaşdyrylmagy we tertibi, durnuklylygy we aňly bahany barlamak. Bu çemeleşme bilen goýberişler adaty ýagdaýa, ygtybarlylygy bolsa bäsdeşlik artykmaçlygyna öwrülýär.